V-IT is op zoek naar een Data Engineer voor een klant te Brussel.
Nadruk op de volgende punten:
- Sterke ervaring en kennis in Databricks – Azure
- Maakt niet uit of het Python of SQL is
- Het moet een cloud data engineer zijn die meteen operationeel kan zijn, zelfstandig te werk gaat en de hele pipeline kan ontwikkelen à heel belangrijk punt!
De Data Engineer is een belangrijke speler in de organisatiebrede datatransformatieprojecten. Je houdt je bezig met het ontwikkelen en automatiseren van data processing pipelines voor datamodellering, analyse en rapportage vanuit verschillende databronnen. De primaire verantwoordelijkheid van deze functie is het helpen opzetten van de Delta Lake architectuur en het leveren van datagedreven oplossingen.
Taakomschrijving
- Gegevensstromen bouwen voor gegevensverwerving, aggregatie en modellering, met gebruik van zowel batch- als streamingparadigma's.
- Hoogwaardige code ontwikkelen voor de core data stack inclusief data integratie hub, datawarehouse en data pipelines onder Azure service.
- Samenwerken met andere ontwikkelaars als onderdeel van een SCRUM-team om de gezamenlijke teamproductiviteit te waarborgen.
- Het uitvoeren van data-analyse, data profiling, data cleansing, data lineage, data mapping en data transformatie.
- Assisteren bij het architectuurontwerp, ontwikkelen, documenteren en implementeren van end-to-end datapijplijnen en datagedreven oplossingen.
- Technische ondersteuning bieden bij dataproblemen met aanbevelingen en oplossingen.
- Op een kritische manier de informatienoden analyseren.
- Je helpt mee de KPI’s bepalen, de monitoring op te zetten en de alerting op data-niveau te implementeren
Profielomschrijving
- Je bent in het bezit van een Bachelor of een Master
- Je hebt tenminste 3 jaren ervaring in een gelijkaardige functie
- Je bent sterk in detailanalyse maar kan je bevindingen ook vertalen naar een inzichtelijke synthese & implementatie op een pragmatische manier.
- Kennis/werkervaring met het volgende:
- Must have: Microsoft Azure Data Platform (Azure Delta Lake, Databricks, Azure Data Factory, Event Hub, Debezium)
- Must have: Expertise in het bouwen van ETL en data pipelines op Databricks met behulp van data engineering talen Python en SQL op Azure
On-Premise Microsoft SQL Server (oa. Transact SQL, stored procedures, Analysis Services, indexing,...)
- Must have: Azure Devops: CI/CD implementatie, Automatisering Azure Data Factory Deployments
- BI concepten & implementatie - voorkeur Ster-schema modellering
- Je hebt een goed inzicht in de Microsoft Fabric suite en kan deze technologie kritisch vergelijken met alternatieven zoals Databricks binnen een moderne data-architectuur.
- Je kan zelfstandig werken
- Je bent collegiaal en denkt mee met het team.
- Je bent in staat om een kritische kijk te hebben en eventuele inhoudelijke discussies (mbt managementinformatie) bespreekbaar te maken op elk niveau binnen de organisatie.
- Je kan goed overweg met deadlines/prioriteiten stellen en werkt op een Agile manier
- Je bent Nederlandstalig met goede kennis van het Frans