Senior Streaming Data Engineer

Opdrachtgever: Nederlandse Spoorwegen
Locatie: Utrecht, Station Utrecht Centraal
Duur: 1-12-2025 t/m 30-11-2026, met optie op verlenging (maximaal 12 maanden)
Uren per week: 36 uur
Tarief: tarief in overleg
Reageren vóór: 25-11 15:00

Functieomschrijving
Als Senior Streaming Data Engineer werk je samen met collega Data Engineers aan het ontwerp en de implementatie van schaalbare data-oplossingen voor real-time verwerking. Je gebruikt Spark Structured Streaming en PySpark voor het bouwen en onderhouden van streaming pipelines en platformen die analytics teams ondersteunen bij besluitvorming. Je richt data pipelines in tussen databronnen en analytics teams, beheert CI/CD pipelines van ontwikkeling tot productie en bouwt in de Azure cloud omgeving aan een fundament voor het ontsluiten van streaming en sensorische databronnen. De rol vraagt een proactieve houding, actuele domeinkennis en samenwerking binnen een Agile/Scrum team.

Taken en verantwoordelijkheden

• Ontwerpen en implementeren van schaalbare real-time streaming data-oplossingen met Spark Structured Streaming en PySpark.

• Bouwen en onderhouden van streaming platformen met focus op semigestructureerde sensorische databronnen en beeldverwerking.

• Inrichten van data pipelines tussen databronnen en analytics teams.

• Opzetten en beheren van CI/CD pipelines voor streaming pipelines van ontwikkeling tot productie.

• Toepassen van geautomatiseerd testen en Infrastructure-as-Code binnen de ontwikkeling.

• Bouwen in de Azure cloud omgeving aan een fundament voor ontsluiting van streaming en sensorische databronnen.

• Bewaken dat oplossingen voldoen aan security- en privacyvereisten van NS.

• Bijdragen aan verbeteringen binnen team en business door proactief initiatief te nemen.

Functie-eisen

• Minimaal 7 jaar ervaring als Data Engineer met het verwerken van grote hoeveelheden data.

• Minimaal 3 jaar ervaring met Spark Structured Streaming.

• Minimaal 7 jaar ervaring met Python en PySpark.

• Ervaring met ontwikkelen van CI/CD pipelines, geautomatiseerd testen en Infrastructure-as-Code.

• Ervaring met Java en/of Scala.

• Ervaring met Microsoft Azure, Databricks en Azure DevOps.

• Ervaring met Terraform en/of Bicep, OpenTofu.

• Ervaring met Kafka, AMQP, RabbitMQ en/of Event Hub.

• Actueel en relevant inzicht in technologische ontwikkelingen binnen het domein.

• Zelfstarter die graag werkt in een Agile omgeving.

• Uitstekende beheersing van de Nederlandse taal, mondeling en schriftelijk.

• Alleen geschikt voor kandidaten in loondienst; niet geschikt voor zzp’ers of doorleenconstructies met zelfstandigen.

Pré’s

• Bereikbaarheidsdiensten kunnen in de toekomst onderdeel uitmaken van deze rol.

Competenties

• Analytisch en oplossingsgericht.

• Proactief en leergierig.

• Samenwerkingsgericht in een Agile/Scrum team.

• Sterke communicatieve vaardigheden.

• Waarde- en organisatiegerichte mindset.