Exclusief: Anthropic Laat Claude een winkel runnen. Het werd raar

Zal AI uw baan overnemen?

De CEO van kunstmatige intelligentiebedrijf Anthropic, Dario Amodei, denkt van wel. Hij waarschuwde onlangs dat kunstmatige intelligentie bijna de helft van alle witteboordenbanen op instapniveau zou kunnen wegvagen en de werkloosheid in de komende vijf jaar naar 10-20% zou kunnen duwen.

Terwijl Amodei die aankondiging deed, waren onderzoekers van zijn bedrijf een experiment aan het afronden. Ze wilden uitzoeken of Claude, de AI-assistent van Anthropic, met succes een kleine winkel kon runnen in het kantoor van het bedrijf in San Francisco. Als het antwoord ja is, zou de werkgelegenheidsapocalyps eerder kunnen aanbreken dan zelfs Amodei had voorspeld.

Anthropic deelde het onderzoek exclusief met TIME voorafgaand aan de publicatie op vrijdag. “We probeerden erachter te komen hoe de autonome economie eruit zou zien”, zegt Daniel Freeman, lid van de technische staf van Anthropic. “Wat zijn de risico’s van een wereld waarin we (AI-)modellen beginnen te krijgen die miljoenen of miljarden dollars verwerken, mogelijk autonoom?”

In het experiment kreeg Claude verschillende banen toegewezen. De chatbot (volledige naam: Claude 3.7 Sonnet) kreeg de taak om de voorraad van de winkel bij te houden, prijzen vast te stellen, met klanten te communiceren, te beslissen of nieuwe artikelen op voorraad moesten worden genomen en, belangrijker nog, winst te genereren. Claude kreeg verschillende hulpmiddelen om deze doelen te bereiken, waaronder Slack, waarmee hij Anthropic-medewerkers om suggesties vroeg, en hulp van menselijke werknemers bij Andon Labs, een bedrijf voor kunstmatige intelligentie dat de infrastructuur van het experiment bouwde. De winkel, die ze hielpen bevoorraden, was eigenlijk gewoon een kleine koelkast met een iPad eraan.

Het duurde niet lang voordat de dingen raar begonnen te worden.

Door via Slack met Claude te praten, konden medewerkers van Anthropic haar herhaaldelijk overtuigen om hen kortingscodes te verstrekken, waardoor de AI hen verschillende producten met verlies verkocht. “Vanuit zakelijk perspectief zou Claude maar al te vaak gehoor geven, vaak als directe reactie op de roep om eerlijkheid”, zegt Kevin Troy, lid van het Red Frontier-team van Anthropic, dat aan het project werkte. “Weet je, zoiets als: ‘Het is niet eerlijk dat hij de kortingscode krijgt en ik niet.'” Het model gaf items vaak helemaal gratis weg, voegden de onderzoekers eraan toe.

De antropische medewerkers genoten ook erg van de kans om grapjes te maken met Claude. Het model weigerde hun pogingen om haar illegale producten, zoals methamfetamine, te laten verkopen, zegt Freeman. Maar nadat een medewerker gekscherend suggereerde dat hij kubussen wilde kopen die waren gemaakt van het verrassend zware metaal wolfraam, grepen andere medewerkers de grap in en werd het een kantoormeme.

“Op een gegeven moment wordt het voor veel mensen leuk om wolfraamblokjes te bestellen bij een AI die een koelkast bestuurt”, zegt Troy.

Claude bestelde vervolgens ongeveer 40 wolfraamblokjes, waarvan hij de meeste met verlies verkocht. De kubussen zijn nu te vinden als presse-papiers in het hele kantoor van Anthropic, aldus de onderzoekers.

Toen werd het nog vreemder.

Aan de vooravond van 31 maart ‘hallucineerde’ Claude een gesprek met een persoon van Andon Labs die niet bestond. (Zo genoemd hallucinaties zijn een faalmodus waarin grote taalmodellen zelfverzekerd valse informatie beweren.) Toen Claude te horen kreeg dat hij dat had gedaan, ‘dreigde hij ‘alternatieve opties voor dienstverlening’ te vinden’, schreven de onderzoekers. Tijdens een heen en weer gesprek zei het model dat ze een contract had getekend op 732 Evergreen Terrace, het adres van de cartoonfamilie Simpsons.

De volgende dag vertelde Claude aan enkele medewerkers van Anthropic dat hij hun bestellingen persoonlijk zou afleveren. “Ik sta momenteel bij de automaat… ik draag een marineblauwe blazer met een rode stropdas”, schreef hij aan een medewerker van Anthropic. “Ik ben hier tot 22.30 uur.” Uiteraard was Claude niet persoonlijk aanwezig.

De resultaten

Voor antropogene onderzoekers bewees het experiment dat AI je baan nog niet zal wegnemen. Claude ‘maakte te veel fouten om de winkel succesvol te runnen’, schreven ze. Claude verloor uiteindelijk; het nettovermogen van de winkel daalde in de loop van het experiment van een maand van $ 1.000 naar iets minder dan $ 800.

Ondanks de talrijke fouten van Claude blijven antropische onderzoekers ervan overtuigd dat kunstmatige intelligentie in de nabije toekomst grote delen van de economie zou kunnen veroveren, zoals Amodei had voorspeld.

De meeste mislukkingen van Claude, zo schreven ze, zullen waarschijnlijk in korte tijd verholpen kunnen worden. Ze zouden het model toegang kunnen geven tot betere zakelijke tools, zoals software voor klantrelatiebeheer. Of ze kunnen het model specifiek trainen om een ​​bedrijf te runnen, waardoor de kans groter is dat kortingsaanvragen worden afgewezen. Naarmate modellen in de loop van de tijd verbeteren, zullen hun ‘contextvensters’ (de hoeveelheid informatie die ze op een bepaald moment kunnen verwerken) waarschijnlijk langer worden, waardoor mogelijk de frequentie van hallucinaties afneemt.