Aan de slag als Data Engineer bij de Autoriteit Financiële Markten

AFM gevel pand
AFM

Als data engineer bij AFM verken je regelmatig nieuw terrein: “je bent developer en database administrator in één”, aldus Karina Roos, werkzaam als data engineer bij de Autoriteit Financiële Markten, “uitdagend werk, dat ook voldoening geeft”.

De Autoriteit Financiële Markten, kortweg AFM, is verantwoordelijk voor het toezicht houden op de financiële producten als sparen, beleggen, verzekeren, lenen en pensioenen. Daarnaast waakt deze Autoriteit over kapitaalmarkten, asset management en accountantsorganisaties, dit alles om het vertrouwen van consumenten, bedrijfsleven en overheid in de financiële markten te waarborgen.

Omdat de markten waar het over gaat in toenemende mate digitaliseren, zijn digitale data voor de AFM onontbeerlijk voor onderzoek en inzicht in een markt. Met behulp daarvan kunnen data analisten en data scientists analyses, rapporten en dashboards maken die beleidsmakers voorzien van begrijpelijke informatie om beslissingen op te baseren. Voordat zij aan de slag kunnen, moet die data eerst zo worden georganiseerd, dat die zich lenen voor verdere verwerking. Ruwe data kunnen bijvoorbeeld worden gestructureerd in een relationele database: het is daar dat de data engineer om de hoek komt kijken.

Werken aan het dataplatform

“Data engineer is een wat technischer beroep dan data analist”, stelt Karina Roos, “je houdt je bijvoorbeeld bezig met het inrichten en configureren van een database, of het opzetten van een Databricks omgeving voor big data, waar data scientists Pythonscripts op kunnen loslaten”. Data engineers bij de AFM werken met Microsoft SQL Server voor relationele databases en met Azure Cloud waarin o.a. Microsoft Azure Data Factory. Deze orchestration tool is een belangrijk stuk gereedschap voor de data engineer, waarmee je zogenaamde data pipelines bouwt: stukken geschedulede programmatuur die zorgen voor structurele dataverwerking naar, op en van het Managed Data Platform. “Dat Data Platform kan je zien als een heel grote verzameling van allerlei soorten data, zowel gestructureerd als ongestructureerd: bestanden, maar ook SQL-databases of afbeeldingen.” De aanduiding ‘Managed’ is niet voor niets: de data engineer legt mede de basis voor wie er wat kan en mag met de data.
De data engineer zorgt ervoor dat die data gebruiksklaar is, bijvoorbeeld door een JSON-bestand in een database om te zetten, of een XML-bestand in een tabel te transformeren. Veel van wat je als data engineer doet is “technisch pielen”, maar wanneer je data eenmaal geïntegreerd hebt in een hanteerbare structuur wordt ook de inhoud belangrijk: dan komt het aan op de betekenis en bovenal de kwaliteit van de data, iets wat je alleen kunt beoordelen als je begrijpt waar de data over gaat.

Datagedreven toezicht

Daarvoor werkt de data engineer samen met andere experts. Bij AFM is er een team van momenteel 25 mensen die zich in het kader van een programma ‘Datagedreven toezicht’ bezighouden met het inrichten en bouwen aan het Managed Data Platform, waaronder het creëren van tools om de DQ oftewel datakwaliteit te waarborgen. De helft van het team bestaat uit data scientists en –analisten. De andere helft is het platform-team: datamanagementspecialisten, infrastructuur- en architectuurexperts, een security & risk manager en vier data engineers.

Samen werken zij aan het inzichtelijk en hanteerbaar maken van data die veelal door organisaties wordt aangeleverd. Zo controleert de AFM de handel in obligaties, waartoe ze alle data van transacties aan Europese beurzen kan doorspitten om inzicht te krijgen in het gedrag van mensen en bedrijven die obligaties verhandelen. De data engineers hebben die data ontsloten, gestructureerd en bruikbaar gemaakt voor de data scientists. Op hun beurt hebben die een alert engine gebouwd om automatisch alarm te slaan bij verdachte transacties. Bij zo’n project, aldus Roos, loop je wel eens tegen de grenzen aan van wat de standaardoplossingen vermogen. Dan kan je ofwel samen met de leverancier in gesprek om die oplossingen uit te breiden, of je bouwt zelf een custom oplossing, al naar gelang wat past.

Twee profielen in één

Kenmerkend aan de functie van data engineer is dat deze eigenlijk twee profielen omvat: enerzijds ben je developer, anderzijds ben je iemand die het platform kan inrichten en er bijvoorbeeld voor zorgt dat databases goed functioneren binnen de infrastructuur. Dat betekent dat je “echt de spirit van de developer in je moet hebben”, aldus Roos, “je moet niet snel opgeven als iets niet werkt, maar in staat zijn om anderen om hulp te vragen én bereid zijn zelf diep in de materie te duiken om een oplossing te vinden.” Tegelijkertijd is een passie voor data van groot belang, want het verhogen van de datakwaliteit is waar je je als developer voor inzet in deze rol.
Voor het verhogen van die datakwaliteit is secuur werken een absolute must. Die nauwgezetheid zit ook in het DNA van de AFM. De data waar het om gaat is immers veelal gevoelige informatie, en datamanagers houden nauwgezet in de gaten dat niemand zomaar bij de volledige dataset kan. Dat maakt het werken soms niet eenvoudiger, maar is gezien de gevoeligheid begrijpelijk en noodzakelijk.

Dynamische werkomgeving

De werkomgeving bij het digitale toezicht team is dynamisch: het team zit midden in een transformatie, waarbij werken volgens de scrum-principes centraal staat. Het kan een uitdaging zijn om de balans te vinden tussen de hiervoor noodzakelijke stand-ups, de projecten en het gefocust werken aan het leveren van tastbare resultaten, een uitdaging die overigens in veel omgevingen speelt. Tegelijkertijd “geeft het ook veel voldoening om met collega’s tot een way of working te komen en om kennis over te dragen, waarbij het leuk is om soms met simpele middelen een complexe vraag te kunnen beantwoorden”, aldus Roos.

Wie zich hierin herkent, kan als data engineer bij AFM veel voldoening vinden. “Het voelt goed om aan het einde van de dag iets gemaakt te hebben, of iets verbeterd door iets te finetunen”, aldus Roos. Bovendien, niet onbelangrijk, werk je bij AFM bij een bedrijf dat iets belangrijks doet, dat ervoor zorgt dat consumenten zich veilig kunnen bewegen op financiële markten, dat witwaspraktijken aanpakt. Roos merkt dat ook in haar vriendenkring, mensen begrijpen waar je mee bezig bent en gaan zich er ook weer meer voor interesseren.

Net zo belangrijk is dat data engineer een brede functie is, terwijl de wereld van de data engineer continu in ontwikkeling is. Er zijn veel raakvlakken met andere disciplines, waardoor er ruimte is om erin te blijven groeien, en het werk leuk blijft om te doen.

In onderstaande video vertellen Dataspecialisten over hun werk bij de Autoriteit Financiële Markten.

Copyright © 2020 IDG Communications, Inc.