Data engineer migratie (datalab) in The Hague, Zuid-Holland | Opdracht

Opdrachtomschrijving

Het Datalab van VWS is de omgeving waarin de directies van VWS hun data-initiatieven kunnen onderbrengen. Het platform is gebouwd op Microsoft Azure met Databricks als centrale component. Voor het onderhoud van de bestaande omgeving en voor een aantal aanstaande ontwikkelingen, waaronder de migratie naar een vernieuwd platform en het via API ontsluiten van bronsystemen, zoeken wij een ervaren data engineer. De data engineer is binnen het team de technische ruggengraat voor de complexere datavraagstukken. Je ontwerpt en implementeert ETL/ELT-processen die data van bron tot productielaag in het data lake brengen met Python en PySpark, en je ontwerpt en onderhoudt de centrale semantische modellen, zodat datastructuren en definities op elkaar aansluiten en er stabiele Power BI-rapportages op gebouwd kunnen worden. Je onderhoudt het Azure dataplatform samen met de beheerpartij van de cloudomgeving en bent daarvoor het aanspreekpunt. Je bent binnen het team het aanspreekpunt voor de moeilijkste datatransformaties en schema-updates, denkt mee over de aanpak van de doorontwikkeling en nieuwe initiatieven, en verkent actief hoe AI kan bijdragen aan het verlagen van de werklast bij de operationele teams. Kennis, ervaring, competenties en vaardigheden Voor deze opdracht zoeken we een ervaren data engineer die • minimaal 3 jaar aantoonbare werkervaring heeft als data engineer op Microsoft Azure; • aantoonbare ervaring heeft met Databricks (onder meer Delta Lake en Unity Catalog); • uitstekende programmeervaardigheden heeft in Python en aantoonbare ervaring met PySpark; • minimaal 3 jaar ervaring heeft met het opzetten van ETL/ELT-processen en het bouwen en orkestreren van pipelines; • minimaal 3 jaar ervaring heeft met datamodellering, conceptueel en dimensioneel, en met het ontwerpen en onderhouden van semantische modellen; • aantoonbare ervaring heeft met API-integraties en het ontsluiten van bronsystemen; • aantoonbare ervaring heeft met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform); • in het bezit is van een of meer relevante Azure datacertificeringen (de DP reeks binnen de azure certificaten); • ervaring heeft met platformmigraties, van on-premises of legacy naar een cloud dataplatform, is een pré; • minimaal 5 jaar aantoonbare ervaring heeft met het werken in een agile omgeving; • minimaal 32 uur per week beschikbaar is; • HBO/WO werk- en denkniveau heeft in een bèta- of ICT-richting, analytisch denkt en nauwkeurig werkt; • de Nederlandse taal in woord en geschrift beheerst, klantgericht en organisatiesensitief is, goed samenwerkt in teamverband en zich goed kan verplaatsen in de gebruikers. Achtergrond opdracht Opdrachtgever Nederland gezond en wel. Dat is het motto van het ministerie van Volksgezondheid, Welzijn en Sport (VWS). Zorg voor ouderen en jongeren en voor mensen met een lichamelijke of verstandelijke handicap. De directie Organisatie, Bedrijfsvoering en Personeel (OBP) is eindverantwoordelijk voor de levering van bedrijfsvoeringdiensten aan het kerndepartement en aan een aantal niet tot de kern behorende diensten van VWS. Binnen OBP/Afdeling IV is het VWS Datalab belegd. Het Datalab beheert en ontwikkelt het Azure dataplatform waarop de directies van VWS hun data-initiatieven onderbrengen, en levert daarmee de basis voor data-analyses, rapportages en datagedreven werken binnen het departement