Ongeveer een jaar geleden trok een advertentie de aandacht van Ashleigh Ruane, een doctoraalstudente in de natuurkunde aan de Universiteit van Cambridge. De aankondiging was eenvoudig maar ongebruikelijk: Onderwijzen NAAR DE over natuurkunde.
Nieuwsgierig klikte ze. Hij ontdekte dat experts op alle gebieden, van natuurkunde tot financiën tot gezondheidszorg tot recht, nu betaald werden om AI-modellen te helpen trainen om problemen te denken, te redeneren en op te lossen als specialisten uit de industrie. Ze solliciteerde, werd aangenomen en logt nu ongeveer 50 uur per week in om gegevens te verstrekken Mercoreen platform dat kunstmatige-intelligentielaboratoria verbindt met experts uit de industrie.
Ruane maakt deel uit van een snelgroeiende groep professionals die vormgeven aan de manier waarop zij over AI-modellen leren. Seconde FreelancerDuizenden nieuwe AI-aangedreven trainings- en data-annotatierollen zijn op hun markt verschenen, waarbij het grootste deel van de groei pas in de afgelopen 18 maanden tot stand is gekomen. Deze rollen variëren van zeer technische experttaken, zoals het evalueren van complexe redeneringen of het diagnosticeren van modelfouten, tot genuanceerde oordeelsvragen waar grote modellen nog steeds mee worstelen.
“We gaan een heel interessante tijd tegemoet”, zegt Matt Barrie, CEO van Freelancer. “AI-modellen vereisen steeds meer gegevens. We zien professionals uit alle vakgebieden in alle delen van de wereld deelnemen aan dit trainingswerk over AI-gegevens.”
De trend roept grotere vragen op: als AI-modellen al zijn getraind op het open internet en grote bedrijfsdatasets, waarom doen ze dat dan? ze hebben nog steeds menselijke experts nodig? Wat doen deze deskundigen precies? En hoe lang zal dit nieuwe type werk duren?
Kunstmatige intelligentie heeft “het hele internet gelezen” en heeft nog steeds echte experts nodig
Er wordt algemeen aangenomen dat de beste AI-modellen van vandaag al alles weten wat ze moeten weten. Ze zijn tenslotte getraind in miljoenen boeken, artikelen, documenten en posts. Maar marktleiders zeggen dat domeinexperts nu belangrijker zijn dan ooit.
“Modellen die op internet zijn getraind, kunnen een antwoord van 80% opleveren, maar op juridisch of fiscaal gebied is 80% niet nuttig”, legt Joel Hron, CTO van ThomsonReuters. “Onze klanten eisen een hoge mate van precisie en vertrouwen. De inzet van experts zorgt voor de hoogst mogelijke precisie.”
Ana Price, VP Supply bij Vruchtbaardie menselijke gegevens levert aan AI-laboratoria, is het ermee eens dat experts nog belangrijker worden naarmate AI-modellen zich verplaatsen naar gereguleerde, risicovolle velden.
“De vraag naar menselijke expertise en domeinspecifieke feedback van AI-modellen groeit en groeit en groeit”, zegt Price. “Naarmate deze modellen groter zijn geworden, worden fouten steeds moeilijker op te sporen. Er is echte expertise nodig om de inhoud te beoordelen van wat de modellen opleveren, en niet alleen de correctheid op oppervlakkig niveau.”
Met andere woorden: het internet alleen kan gestructureerde professionele kennis niet vervangen. Hoe meer organisaties afhankelijk zijn van AI voor serieus werk waar veel op het spel staat, hoe meer ze experts nodig hebben om modellen te laten zien hoe echte professionals denken.
Wat deskundige AI-trainers eigenlijk doen
Linda Yu heeft de afgelopen tien jaar als investeerder 4 miljard dollar geïnvesteerd in op technologie gebaseerde bedrijven. Ze begon een jaar geleden als ervaren medewerker bij Mercor te werken, waar typische projecten bestaan uit het coachen van AI-modellen om te denken als een beleggingsprofessional.
“Mijn rol als domeinexpert is om te evalueren of het antwoord van het model niet alleen technisch correct is, maar ook of de complexe redenering achter het antwoord accuraat is, inclusief welke aannames het model heeft gedaan, waar het mogelijk heeft gefaald, waar het heeft gefaald en wat een beter antwoord zou zijn”, vertelt Yu. “Het werk voelt minder als het trainen van een AI-model en meer als het begeleiden van een junior analist.”
Experts als Yu zeggen dat het werk varieert van project tot project en wordt toegepast in verschillende sectoren, van rechten tot geneeskunde tot techniek en daarbuiten. Deelnemers worden doorgaans op uurbasis betaald:Gemiddeld € 85,- per uur– en kan worden gevraagd om de redenering van een model over een technische vraag te evalueren, onjuiste antwoorden te herschrijven in correcte, stapsgewijze uitleg, meerdere modelresultaten te vergelijken en te kiezen welke het beste de praktijk uit de praktijk weerspiegelt.
De output is geen generieke inhoud, maar high-fidelity redeneergegevens die zijn ontworpen om te modelleren hoe AI-systemen werken.
AI-interviewers interviewen AI-trainers
Het werk vereist echte vaardigheden, wat betekent dat AI-laboratoria gegevens nodig hebben van doorgelichte experts. Om te helpen bij de verificatie vertrouwen sommige platforms op AI-interviewers om de feitelijke competentie van potentiële AI-trainers te beoordelen.
“Experts bellen en interviewen de AI”, zegt Arsham Ghahramani, oprichter van Plakbandeen AI-interviewer met meer dan 500 klanten, waaronder een AI-trainingsdataprovider die maandelijks meer dan 15.000 experts interviewt. “Je krijgt waarschijnlijk de beste sollicitatievragen die je ooit zijn gesteld.”
AI-interviewers beoordelen experts op tekenen die kunnen duiden op ervaringsgerelateerde rode vlaggen, zoals een onregelmatig reactietempo, of ze op een natuurlijke manier reageren en natuurlijk of ze over de vereiste vaardigheden voor een bepaald domein beschikken.
“Het was eigenlijk mijn eerste interview met een niet-echt persoon”, zegt Yu. “Het scande mijn cv en stelde echt relevante vragen. Na elk antwoord gedroeg de AI-interviewer zich als een echt persoon, vatte samen wat ik zei en stelde een vraag die een natuurlijk verlengstuk was van ons gespreksonderwerp. Ik was gefascineerd door de technologie.”
AI evalueert nu de mensen die het onderwijzen, een weerspiegeling van hoe geavanceerde mensen modelleringsmogelijkheden hebben.
De laatste kilometer aan informatie is nog steeds van de mens
Een van de duidelijkste verklaringen waarom expertdata essentieel blijven, komt van Mark Quinn, senior director AI operations bij Parel en voormalig hoofd technische activiteiten bij Waymo. Leg een verband tussen de hedendaagse uitdagingen op het gebied van kunstmatige intelligentie en autonoom rijden.
“Bij Waymo hebben we gewerkt aan het bereiken van de laatste kilometer van autonome mobiliteit. Nu werken we aan het bereiken van de laatste kilometer aan informatie”, zegt Quinn. “Hoewel er AI-systemen worden ontwikkeld om de laatste kilometer aan informatie af te sluiten, is de realiteit dat mensen nog steeds de voorkeur geven aan validatie door menselijke experts als ze een antwoord nodig hebben over wat ze moeten doen als hun hond chocolade heeft gegeten.”
De metafoor vindt weerklank in de hele sector. Zelfs nu modellen slimmer en groter worden, is er een wereld vol randgevallen: situaties die oordeel, ethisch redeneren of domeinspecifieke logica vereisen die niet gemakkelijk in algemene datasets kunnen worden vastgelegd.
Sommige leiders geloven dat de laatste mijl zal krimpen, maar nooit volledig zal verdwijnen.
Hron van Thomson Reuters merkt op: “Basismodellen hebben nog een lange weg te gaan voordat ze echt diepgaand zijn. Expertsystemen en diepgaande kennis zullen modellen helpen naar het volgende niveau te stijgen.”
Price of Prolific voegt hieraan toe: “We hebben nog maar het beginpunt bereikt van wat AI kan doen. Mensen vormen een cruciaal stukje van de puzzel, vooral in nichegebieden.”
Met andere woorden: de toekomst gaat niet over het vervangen van experts. Het gaat om het verbreden van essentiële vaardigheden om AI-modellen beter en veiliger te maken.
Een nieuw soort kenniswerk
Voor Ruane, promovendus natuurkunde, is het werken aan expertdata een belangrijke bron van inkomsten geworden. Ze heeft onlangs een fulltime baan aanvaard, maar merkt op dat haar nieuwe baan slechts 38 uur per week zal bedragen, waardoor ze tijd overhoudt om te blijven bijdragen aan AI-trainingsprojecten.
Waar hij mee experimenteert, wordt snel gemeengoed: bekwame professionals beschouwen AI-trainingswerk als een aanvullend carrièrepad, een flexibele bijbaan of zelfs een voltijdbaan.
Werk speelt een steeds centralere rol in het functioneren van kunstmatige-intelligentiesystemen. Naarmate modellen capabeler worden, wordt de waarde van vaardigheden in de echte wereld opnieuw gedefinieerd en niet verminderd.
Experts maken niet alleen gebruik van kunstmatige intelligentie. Ze leren hem redeneren, denken en handelen als een expert.
