Traditionele ETL-tools zoals dbt of Fivetran bereiden data voor op rapportage: gestructureerde analyses en dashboards met stabiele schema’s. AI-toepassingen hebben iets anders nodig: het voorbereiden van rommelige, evoluerende operationele gegevens voor realtime modelinferentie.
Empromptu noemt dit onderscheid ‘inferentie-integriteit’ en ‘rapportage-integriteit’. In plaats van datavoorbereiding als een aparte discipline te behandelen, integreert Golden Pipelines normalisatie rechtstreeks in de AI-applicatieworkflow, waardoor de doorgaans veertien dagen aan handmatige engineering wordt teruggebracht tot minder dan een uur, zegt het bedrijf. Empromptu’s ‘gouden pijplijn’-aanpak is een manier om de gegevensvoorbereiding te versnellen en ervoor te zorgen dat gegevens accuraat zijn.
Het bedrijf werkt voornamelijk met middelgrote en zakelijke klanten in gereguleerde sectoren waar de nauwkeurigheid van gegevens en compliance niet onderhandelbaar zijn. Fintech is Empromptu’s snelst groeiende branche, met extra klanten in de gezondheidszorg en de juridische sector. Het platform is HIPAA-compatibel en SOC 2-gecertificeerd.
“Enterprise AI breekt niet op modelniveau, maar breekt wanneer rommelige gegevens echte gebruikers ontmoeten”, vertelde Shanea Leven, CEO en mede-oprichter van Empromptu, aan VentureBeat in een exclusief interview. “Golden Pipelines brengen gegevensopname, -voorbereiding en -beheer rechtstreeks in de workflow van AI-applicaties, zodat teams systemen kunnen bouwen die daadwerkelijk werken in de productie.”
Hoe gouden pijpen werken
Gouden pijplijnen functioneren als een geautomatiseerde laag die zich tussen ruwe operationele gegevens en AI-toepassingsmogelijkheden bevindt.
Het systeem beheert vijf hoofdfuncties. Ten eerste legt het gegevens vast uit elke bron, inclusief bestanden, databases, API’s en ongestructureerde documenten. Vervolgens worden deze gegevens verwerkt door middel van geautomatiseerde inspectie en opschoning, waarbij het structureert met patroondefinities, labels en verrijkingen om lacunes op te vullen en records te classificeren. Ingebouwde beheer- en nalevingscontroles omvatten audittrails, toegangscontroles en privacyhandhaving.
De technische aanpak combineert deterministische voorverwerking met AI-ondersteunde normalisatie. In plaats van elke transformatie te coderen, identificeert het systeem inconsistenties, leidt het de ontbrekende structuur af en genereert het classificaties op basis van de context van het model. Elke transformatie wordt geregistreerd en direct gekoppeld aan de downstream AI-evaluatie.
De evaluatiecyclus is van cruciaal belang voor het functioneren van gouden pijpleidingen. Als gegevensnormalisatie de nauwkeurigheid stroomafwaarts vermindert, detecteert het systeem dit door middel van continue evaluatie van het productiegedrag. Volgens Leven onderscheidt de feedbackkoppeling tussen datavoorbereiding en modelprestaties gouden pijplijnen van traditionele ETL-tools.
Golden pipelines zijn rechtstreeks in de Empromptu Builder geïntegreerd en worden automatisch uitgevoerd als onderdeel van het bouwen van een AI-applicatie. Vanuit een gebruikersperspectief ontwikkelen teams AI-mogelijkheden. Onder de motorkap zorgen gouden pijplijnen ervoor dat de gegevens die deze mogelijkheden aandrijven, schoon, gestructureerd, beheerd en klaar zijn voor productiegebruik.
Integriteit rapporteren en integriteit afleiden
Leven is van mening dat gouden pijplijnen een fundamenteel ander probleem oplossen dan traditionele ETL-tools zoals dbt, Fivetran of Databricks.
“Dbt en Fivetran zijn geoptimaliseerd voor het rapporteren van integriteit. Golden pipelines zijn geoptimaliseerd voor de integriteit van gevolgtrekkingen”, aldus Leven. “Traditionele ETL-tools zijn ontworpen om gestructureerde gegevens te verplaatsen en te transformeren volgens vooraf gedefinieerde regels. Ze gaan uit van schemastabiliteit, bekende transformaties en relatief statische logica.”
“We vervangen dbt of Fivetran niet, bedrijven zullen ze blijven gebruiken voor magazijnintegriteit en gestructureerde rapportage”, aldus Leven. “Gouden pijplijnen zitten dichter bij de AI-applicatielaag. Ze lossen het last mile-probleem op: hoe kun je imperfecte operationele gegevens uit de echte wereld gebruiken en deze bruikbaar maken voor AI-mogelijkheden zonder maandenlange handmatige discussies?”
Het vertrouwensargument voor AI-gedreven standaardisatie is gebaseerd op verifieerbaarheid en voortdurende evaluatie.
“Het is geen magie zonder toezicht. Het is controleerbaar, testbaar en wordt voortdurend geëvalueerd aan de hand van het productiegedrag”, aldus Leven. “Als normalisatie de nauwkeurigheid stroomafwaarts vermindert, wordt dit door de evaluatielus gedetecteerd. Feedbackkoppeling tussen gegevensvoorbereiding en modelprestaties is iets dat traditionele ETL-pijplijnen niet bieden.”
Klantimplementatie: VOW adresseert gebeurtenisgegevens met een hoog risico
De ‘gouden pijplijn’-aanpak heeft al impact in de echte wereld.
Platform voor evenementenbeheer STEMMEN beheert spraakmakende evenementen voor organisaties zoals VROLIJK evenals meerdere sportorganisaties. Wanneer GLAAD een evenement plant, worden gegevens ingevoerd in sponsoruitnodigingen, kaartaankopen, tafels, stoelen en meer. Het proces verloopt snel en de consistentie van de gegevens is niet onderhandelbaar.
“Onze data zijn complexer dan het gemiddelde platform”, zegt Jennifer Brisman, CEO van VOW, tegen VentureBeat. “Wanneer GLAAD een evenement plant, worden er gegevens verwerkt in sponsoruitnodigingen, kaartaankopen, tafels, stoelen en meer. En het moet allemaal heel snel gebeuren.”
VOW schreef de regex-scripts handmatig. Toen het bedrijf besloot een door AI gegenereerde plattegrondfunctie te creëren die gegevens vrijwel in realtime zou bijwerken en informatie op het platform zou vullen, werd het waarborgen van de nauwkeurigheid van de gegevens van cruciaal belang. Golden Pipelines automatiseerde het proces van het extraheren van gegevens uit plattegronden die vaak rommelig, inconsistent en ongestructureerd aankwamen, en het vervolgens formatteren en verzenden ervan zonder veel handmatige inspanning naar het technische team.
VOW gebruikte Empromptu aanvankelijk voor door AI gegenereerde plattegrondanalyses die noch Google noch het AI-team van Amazon konden oplossen. Het bedrijf herschrijft nu zijn volledige platform op het Empromptu-systeem.
Wat dit betekent voor zakelijke AI-implementaties
Golden pipelines richten zich op een specifiek implementatiemodel: organisaties die geïntegreerde AI-applicaties bouwen waarbij datavoorbereiding momenteel een handmatig knelpunt is tussen prototype en productie.
De aanpak is minder zinvol voor teams die al volwassen data-engineeringorganisaties hebben met gevestigde ETL-processen die zijn geoptimaliseerd voor hun specifieke domeinen, of voor organisaties die op zichzelf staande AI-modellen bouwen in plaats van geïntegreerde applicaties.
Het beslissingspunt is of datavoorbereiding de snelheid van AI in de organisatie blokkeert. Als datawetenschappers datasets voorbereiden voor experimenten die technische teams vervolgens opnieuw opbouwen voor productie, vult geïntegreerde datavoorbereiding deze leemte op.
Als het knelpunt zich elders in de AI-ontwikkelingslevenscyclus bevindt, zal dit niet het geval zijn. De wisselwerking is platformintegratie versus toolflexibiliteit. Teams die ‘gouden’ pipelines gebruiken, streven naar een geïntegreerde aanpak waarbij datavoorbereiding, AI-applicatieontwikkeling en governance plaatsvinden op één enkel platform. Organisaties die er de voorkeur aan geven voor elke functie de beste tools samen te stellen, zullen deze aanpak beperkend vinden. Het voordeel is de eliminatie van stappen tussen datavoorbereiding en applicatieontwikkeling. De kosten worden verminderd door de optionele mogelijkheden in de manier waarop deze functies worden geïmplementeerd.
