Senior Data Engineer (m/w/d)

Was Dich erwartet:

️ Hybride Daten-Plattform & Architektur: Du verantwortest die Konzeption und Implementierung einer hybriden Datenplattform, die die Flexibilität von Lakehouse-Strukturen mit der Performance und Struktur eines klassischen Data Warehousing (Serving Layer) vereint.

⚙️ Data-Ingestion & Pipelines: Du baust und betreibst zuverlässige Pipelines für umfangreiche Datenmengen (z. B. Sensor- oder Erdbeobachtungsdaten) in Batch- und Streaming-Szenarien.

️ Plattform-Evolution: Du treibst unsere Datenplattform voran, indem Du neue Trends im Bereich Data & AI (z. B. Vector-Datenbanken & RAG-Infrastruktur) evaluierst und Tools für effizientes Datenmanagement sowie CI/CD-Prozesse entwickelst.

️ Governance, Observability & FinOps: Du etablierst strenge Data-Governance-Standards, implementierst Data Lineage sowie Data Contracts zur Schnittstellensicherung, wendest FinOps-Prinzipien zur Kostenoptimierung an und stellst die Datenqualität sicher.

Performance-Optimierung: Du optimierst die Verarbeitungsleistung durch effiziente Partitionierungsstrategien und gestaltest Datenlayouts, die Compute-Workloads nah an der Speicherebene erlauben.

Enablement & Beratung: Du fungierst als Sparringspartner für Data Scientists und Ingenieure, vermittelst Best Practices und stellst Blueprint-Architekturen für die gesamte Organisation bereit.

Was Du mitbringst:

Expertenkenntnisse

• Distributed Computing: Tiefe Erfahrung mit dem Spark-Ökosystem (z. B. Databricks, EMR oder vergleichbare Frameworks) sowie fundiertes Wissen in der Konzeption moderner Data-Lake- oder Lakehouse-Architekturen.
• Pipeline-Engineering: Fundiertes Wissen im Aufbau komplexer Ingestion-Workflows und in der Verwaltung von Daten-Transformations-Pipelines.
• Programmierung: Exzellente Kenntnisse in Python (oder Go) sowie sicherem Umgang mit SQL- und NoSQL-Datenbanken.
• Cloud & Infrastruktur: Routine in Cloud-Plattformen (Azure oder AWS) sowie Infrastructure as Code (Terraform).
• Datenmodellierung & DWH: Fundierte Erfahrung in der dimensionalen Modellierung (Star/Snowflake Schema) sowie im Design von hochperformanten Serving Layern für BI- und Analytics-Anwendungen.

Sehr gute Kenntnisse

• Data Management: Praktische Erfahrung mit Datenversionierung, Lineage-Tracking und Schema-Validierung.
• DevOps für Data: Sicherer Umgang mit Docker, Kubernetes und CI/CD-Tools (z. B. GitHub Actions).
• Security & Networking: Verständnis von Authentifizierung, Verschlüsselung und sicheren Datenverarbeitungspraktiken.
• Agile Methodiken und Erfahrung in der Zusammenarbeit mit funktionsübergreifenden Analytics-Teams.
• Data Contracts & KI-Daten: Erfahrung in der Gestaltung stabiler Datenschnittstellen sowie Grundverständnis für den Betrieb von Vektordatenbanken und RAG-Pipelines.

Persönlich

• Ownership: Du übernimmst die volle Verantwortung für die Stabilität, Skalierbarkeit und operative Leistung der Datenplattform.
• Analytische Exzellenz: Du hast eine strukturierte Herangehensweise an komplexe Herausforderungen wie Partitionierung und Tiling-Strategien.
• Kommunikationsstärke: Du kannst Blueprint-Architekturen klar vermitteln und Kollegen fachlich anleiten.
• Fließende Deutsch- und Englischkenntnisse sowie ein abgeschlossenes Studium (M.Sc.) in Informatik oder einem verwandten Bereich.