Big Data Engineer
(m/w/d)

Große Datenmengen zuverlässig nutzbar machen

Für ein Kundenprojekt suchen wir einen freiberuflichen Big Data Engineer. Sie entwickeln Verarbeitungsschritte für umfangreiche Datenbestände und machen deren Qualität nachvollziehbar. Gemeinsam mit den beteiligten Teams schaffen Sie eine Grundlage, auf der Auswertungen und weitere Anwendungen verlässlich aufbauen können.

Ihre Aufgaben

• Datenquellen und deren Bedeutung mit den fachlichen und technischen Verantwortlichen klären.
• Datenpipelines mit Spark beziehungsweise PySpark in einer Databricks-Umgebung entwickeln.
• Daten für eine Lakehouse-Struktur aufbereiten und passende Partitionierungs- und Speicherstrategien umsetzen.
• Prüfungen für Datenqualität, Änderungen an Quellschemata und kontrollierte Wiederanläufe einrichten.
• Laufzeiten und Ressourcenverbrauch untersuchen und Verarbeitungsschritte gezielt optimieren.
• Code, Tests und Betriebsdokumentation für eine nachvollziehbare Übergabe bereitstellen.

Das bringen Sie mit

• Praktische Erfahrung in der Verarbeitung großer Datenbestände mit Apache Spark.
• Sichere Kenntnisse in Python und SQL sowie Erfahrung mit Databricks.
• Verständnis für Datenmodellierung, verteilte Verarbeitung und inkrementelle Datenübernahme.
• Erfahrung mit automatisierten Tests, Versionsverwaltung und der Überwachung von Datenpipelines.
• Die Fähigkeit, Datenfehler systematisch zu untersuchen und mit Fachteams zu klären.

Zusätzliche Kenntnisse

Kenntnisse in Delta Lake, Streaming oder der Anbindung von Cloud-Speichern sind hilfreich. Beschreiben Sie, welche Teile einer Datenplattform Sie bereits selbst umgesetzt und betrieben haben.

Das ist für Ihre Bewerbung hilfreich

Nennen Sie Ihre Erfahrung mit Spark und Databricks, typische Größenordnungen Ihrer bisherigen Projekte und Ihre Verfügbarkeit. Angaben zu Auslastung und Honorarrahmen helfen bei der Abstimmung; echte Kundendaten benötigen wir nicht.

So läuft Ihre Bewerbung ab

1. Auf dieses Projekt bewerben. Das Formular übernimmt die Position „Big Data Engineer“ und die Kennziffer 728. Bestätigen Sie Ihre E-Mail-Adresse und ergänzen Sie Ihre Kontaktdaten und Ihren Lebenslauf als PDF.
2. Prüfung und Rückmeldung. Wir prüfen Ihre Erfahrung mit verteilter Datenverarbeitung, Datenqualität und der Umsetzung produktiver Datenpipelines. Nach der Eingangsbestätigung erhalten Sie eine persönliche Rückmeldung zum weiteren Vorgehen.
3. Das Projekt besprechen. Im Gespräch klären wir Aufgaben, Projektumfang, Einsatzort, Laufzeit, Auslastung und Honorar. Sie erfahren, welches Unternehmen das Projekt beauftragt.
4. Vorstellung beim Kundenunternehmen. Wenn die Anforderungen und Ihre Vorstellungen zusammenpassen, stimmen wir die Weitergabe Ihrer Unterlagen mit Ihnen ab. Anschließend begleiten wir die fachliche Abstimmung und die weiteren Gespräche zum Projekt.
5. Entscheidung und Vertragsabschluss. Sie und das Kundenunternehmen stimmen die Zusammenarbeit miteinander ab. Bei einer Einigung schließen Sie den Projektvertrag direkt miteinander. Wir begleiten die Abstimmung.

Für Sie ist die Vermittlung kostenfrei. Ihre Bewerbung bezieht sich auf dieses Projekt. Für eine Vorstellung bei einem anderen Unternehmen oder für eine andere Position holen wir vorher Ihr Einverständnis ein.

Fragen zur Anzeige? Schreiben Sie uns unter Angabe der Kennziffer 728 an muenchen@sevenconsulting.de.