Binnen de afdeling Orchestration & Integration (O&I) bij APG Asset Management zijn we op zoek naar een Data Engineer voor het Data Platform Team. Het Data Platform Team heeft verschillende taken: het verzamelen (inlezen) van gegevens uit zowel interne als externe bronnen, het opslaan van de gegevens, het gereedmaken van gegevens voor consumptie, het beheren van de toegang tot gegevens en het mogelijk maken van het gebruik ervan door clienttoepassingen.
Als Data Engineer binnen het Data Platform team maak je consumptie van gegevens van ons dataplatform mogelijk. Je bent verantwoordelijk voor het bouwen en optimaliseren van de data-infrastructuur en -pipelines. Op een collaboratieve manier werk je samen met data-analisten en verschillende belanghebbenden. Je vindt het leuk om de technische basis te leggen om informatieproducten te leveren. Jouw belangrijkste verantwoordelijkheden zijn:
- Ontwerpen, implementeren en onderhouden van datapipelines volgens best practices.
- Bouwen van schaalbare, herbruikbare en toekomstbestendige patronen.
- Centraliseren en vastleggen van zakelijke eisen en methodologieën (regels, definities, guardrails).
- Zorgen dat de gebruikte data-organisatie schoon, betrouwbaar en klaar is voor welke gebruiksscenario's zich ook kunnen voordoen.
- Op de hoogte blijven van (cloud) technologische ontwikkelingen en vertalen hoe deze innovaties kunnen worden toegepast op ons dataplatform.
- Voortdurend optimaliseren van de prestaties van het big data-ecosysteem van het bedrijf.
De dagelijkse taken waar je aan werkt, bestaan uit:
- Ontwerp en implementatie van de opslaglaag voor gegevens met Azure Data Lake Storage Gen2.
- Inlezen van gebatchte gegevens met Azure Data Factory pipelines, gegevensstructuren en gegevensverbindingen.
- Transformeren van gegevens met Azure Databricks-sparknotities met behulp van DeltaLake/Parquet-formaat.
- Implementeren van gebruikersauthenticatie en autorisatie met AAD, toepassen van het principe van minste privilege, implementeren van beveiliging voor gegevens in rust en in doorvoer, implementeren van nalevingscontroles voor gevoelige gegevens.
- Monitoren, beheren en optimaliseren van gegevensopslag en gegevensverwerking.
- Beheren van back-up en herstel van gegevens, oplossen van oplossingen aan de hand van metrieken en loggegevens met Azure Monitor.
- Opzetten en onderhouden van Azure DevOps-repositories om versiebeheer en gezamenlijke ontwikkeling te vergemakkelijken.
- Delen en overdragen van kennis aan teamleden en de bredere organisatie.
- Ondersteunen van testactiviteiten en implementaties.