Intermediate Data Engineer (m/w/d)

Was Dich erwartet:

Pipeline-Entwicklung: Du entwickelst und wartest automatisierte Data-Ingestion-Pipelines und stellst die zuverlässige Verarbeitung von Batch- und Streaming-Daten sicher.

️ Mitarbeit an der Plattform: Du unterstützt beim Ausbau moderner, hybrider Datenplattformen (z. B. auf Basis von Spark/Databricks oder vergleichbaren Technologien) und implementierst Features für moderne Datenarchitekturen (Lakehouse & DWH).

️ Data Quality: Du setzt Schema-Validierungen und Datenqualitätsprüfungen während des Ingestion-Prozesses um und unterstützt bei der Metadatenextraktion.

️ Governance-Support: Du arbeitest an der Umsetzung von Zugriffskontrollen und Datenversionierungen mit, um die Reproduzierbarkeit von Datensätzen zu gewährleisten.

Performance-Support: Du unterstützt bei der Optimierung von Datenverarbeitungsprozessen und hilfst dabei, unnötige Datenbewegungen im System zu minimieren.

Wachstum: In Zusammenarbeit mit unseren Seniors vertiefst Du Dein Wissen in verteilten Systemen, MLOps-Tooling und modernen Lakehouse-Designs.

Was Du mitbringst:

Solide Kenntnisse

• Data Engineering: Erste praktische Erfahrung mit Distributed Computing (z. B. Spark/Databricks oder vergleichbare Technologien) und dem Aufbau von Daten-Pipelines.
• Programmierung: Gute Kenntnisse in Python sowie ein sicherer Umgang mit relationalen Datenbanken (SQL).
• Cloud-Basis: Grundverständnis von Cloud-Technologien (Azure oder AWS) und ersten Kontakt zu Docker .
• Versionierung: Sicherer Umgang mit Git und Verständnis für Data Lineage Konzepte.

Sehr gute Kenntnisse

• CI/CD-Grundlagen: Grundverständnis von automatisierten Workflows und Deployments.
• Datenmodellierung: Wissen über Partitionierung und grundlegende Architekturprinzipien von Data Lakes.
• Datenmodellierung: Grundverständnis für dimensionale Datenmodellierung (Star/Snowflake Schema) und Architekturprinzipien von Data Lakes.
• Qualitätsanspruch: Erfahrung mit Testing-Verfahren für Datenprozesse und Clean Code Standards.

Persönlich

• Lernbereitschaft: Du hast eine hohe Motivation, Dich in die rasant entwickelnde Data- und AI-Landschaft einzuarbeiten.
• Team-Spirit: Du arbeitest gerne kooperativ mit Engineering- und Analytics-Teams zusammen.
• Strukturierte Arbeitsweise: Du gehst Aufgaben methodisch an und hast ein Auge für Datenintegrität.
• Sehr gute Deutsch- und Englischkenntnisse sowie ein abgeschlossenes Studium im Bereich Informatik, Data Engineering oder vergleichbar.