Data pipeline
Wat is een data pipeline?
Een data pipeline is een reeks technische stappen waarmee gegevens van een bron naar een bestemming worden verplaatst. Onderweg kunnen de gegevens worden gecontroleerd, opgeschoond, gecombineerd of omgezet naar een ander formaat. De bron kan bijvoorbeeld een database, API, webshop of bedrijfsapplicatie zijn. De verwerkte data komt daarna terecht in een datawarehouse, dashboard, rapportageomgeving of AI-systeem.
Een data pipeline lijkt op een workflow, maar richt zich specifiek op de verwerking en verplaatsing van gegevens. Een trigger kan het proces starten, waarna verschillende stappen bepalen wat er met de data gebeurt. Zo kan een pipeline nieuwe bestellingen ophalen, onvolledige records verwijderen en de overgebleven gegevens klaarzetten voor een verkooprapportage. De stappen worden automatisch uitgevoerd, zodat grote hoeveelheden informatie niet steeds handmatig hoeven te worden verwerkt.
Van bron tot bruikbare data
Een pipeline begint met het ophalen of ontvangen van gegevens. Daarna volgt meestal een vorm van transformatie. Dat kan bestaan uit het wijzigen van veldnamen, samenvoegen van bronnen, verwijderen van dubbele records of controleren of verplichte informatie aanwezig is. Tot slot worden de gegevens naar de gewenste bestemming geschreven. Dit proces wordt vaak aangeduid als ETL: Extract, Transform, Load. Bij ELT worden de gegevens eerst opgeslagen en pas daarna binnen het doelsysteem verwerkt.
Data pipelines kunnen op vaste momenten draaien of gegevens vrijwel direct verwerken. Bij batchverwerking wordt informatie in groepen verwerkt, bijvoorbeeld iedere nacht. Een streaming pipeline verwerkt nieuwe gegevens continu of kort nadat ze binnenkomen. Welke aanpak geschikt is, hangt af van de toepassing. Een maandrapportage heeft meestal geen directe verwerking nodig, terwijl fraudedetectie of actuele voorraadgegevens sneller moeten worden bijgewerkt.
Betrouwbaarheid is belangrijk, omdat een fout in de pipeline ook invloed heeft op rapportages, automatiseringen en AI-uitkomsten. Logging maakt zichtbaar welke stappen zijn uitgevoerd en waar iets is misgegaan. Monitoring kan waarschuwen bij vertragingen, ontbrekende gegevens of een uitgevallen koppeling. Ook moeten toegangsrechten, privacy en de kwaliteit van de brongegevens goed worden geregeld. Een data pipeline maakt slechte of onvolledige informatie namelijk niet automatisch betrouwbaar.
