Senior Data Engineer (d/w/m)

Köln

Vollzeit

Festanstellung

Deine Mission

Als Senior Data Engineer (d/w/m) bei SpotmyEnergy wirst Du Teil eines energiegeladenen Teams, das die Energiewende in die Haushalte bringt! Bei uns baust und betreibst Du das Rückgrat unserer Datenorganisation – unseren Data Lake und unsere BI-Plattform auf Databricks sowie die Airflow-Pipelines, die unsere Mess- und Energiedaten am Laufen halten. Unser Datenteam versteht sich als Service für das ganze Unternehmen, und genau hier kommst Du ins Spiel.

Du modellierst und optimierst unsere Postgres- und Zeitreihendatenbanken, denkst Monitoring und Alerting von Anfang an mit und sorgst dafür, dass jedes Squad auf saubere, gut dokumentierte Daten zugreifen kann. Mit modernen Tools auf AWS und einem Team im Rücken baust Du eine Plattform, die mit uns mitwächst.

Deine Verantwortlichkeiten

Aufbau und Betrieb unseres Data Lake sowie der BI-Plattform auf Databricks
Entwurf, Bau und Wartung von Airflow-Pipelines für Messwert- und Energiedaten
Modellierung und Optimierung unserer Postgres- und Zeitreihendatenbanken
Verantwortung für Monitoring, Alerting und Incident Response, damit Probleme früh auffallen statt spät
Bereitstellung sauberer, gut strukturierter Daten als Service für alle Squads, inklusive eigener Deep-Dive-Analysen bei Bedarf
Technische Weiterentwicklung der Datenplattform, inklusive Auswahl und Einführung neuer Tools, wo sie echten Mehrwert bringen
Dokumentation und aktive Wissensteilung im Team, statt Wissen nur im eigenen Kopf zu behalten
Enger Austausch mit dem Data-Science-Team, das sich auf die Plattform als Fundament verlassen können soll

Dein Profil

Mehrere Jahre Erfahrung im Aufbau und Betrieb produktiver Datenplattformen oder Data Lakes
Fundierte Kenntnisse in Databricks/Spark sowie Airflow oder vergleichbaren Orchestrierungstools
Sehr gutes SQL, tiefe Postgres-Erfahrung, Erfahrung mit Zeitreihendatenbanken wie TimescaleDB und sicheres Python