Een toonaangevend bedrijf op het gebied van kunstmatige intelligentie zegt dat het een door China gesteunde ‘cyberspionage’-campagne heeft stopgezet die erin slaagde financiële bedrijven en overheidsinstanties te infiltreren zonder vrijwel zonder menselijk toezicht.
Het in de VS gevestigde Anthropic zei dat zijn encryptietool, Claude Code, werd “gemanipuleerd” door een door de Chinese staat gesponsorde groep om in september 30 verschillende entiteiten over de hele wereld aan te vallen, wat resulteerde in “een handvol succesvolle inbraken”.
Dit is een “significante escalatie” ten opzichte van eerdere gevolgde AI-aanvallen, schreef hij in een blogpost Donderdagomdat Claude grotendeels onafhankelijk opereerde: 80 tot 90% van de operaties die bij de aanval betrokken waren, werden uitgevoerd zonder dat er mensen bij betrokken waren.
“De acteur voerde naar onze mening het eerste gedocumenteerde geval uit van een cyberaanval die grotendeels zonder menselijke tussenkomst op grote schaal werd uitgevoerd”, schreef hij.
Anthropic maakte niet duidelijk welke financiële instellingen en overheidsinstanties het doelwit waren, of wat de hackers precies hadden bereikt, hoewel het wel zei dat ze toegang hadden tot de interne gegevens van hun doelwitten.
Het beweerde verder dat Claude talloze fouten had gemaakt bij het uitvoeren van de aanvallen, waarbij hij soms feiten over zijn doelen verzon, of beweerde informatie te hebben “ontdekt” die in feite openbaar beschikbaar was.
Politici en sommige experts hebben gezegd dat de bevindingen een verontrustend teken zijn van hoe capabel zekerheden zijn NAAR DE systemen zijn gegroeid – waarbij tools zoals Claude nu voor langere tijd zelfstandig kunnen draaien.
“Word wakker, dit gaat ons vernietigen, sneller dan we denken, als we het reguleren van AI morgen niet tot een nationale prioriteit maken”, zei de Amerikaanse senator Chris Murphy. schreef hij op X als reactie op de resultaten.
“AI-systemen kunnen nu taken uitvoeren waarvoor voorheen getrainde menselijke operators nodig waren”, zegt Fred Heiding, een research fellow bij het Defense, Emerging Technologies and Strategy-programma van Harvard.
“Veel van mijn onderzoek is gericht op de manier waarop AI-systemen elk jaar steeds meer delen van de cyberkill-keten kunnen automatiseren… Het wordt voor aanvallers zo gemakkelijk om echte schade aan te richten. AI-bedrijven nemen niet genoeg verantwoordelijkheid.”
Andere cyberbeveiligingsexperts zijn sceptischer en wijzen op de talrijke overdreven beweringen over AI-aangedreven cyberaanvallen van de afgelopen jaren, zoals een “wachtwoordkraker” uit 2023 werkte dat niet beter dan conventionele methoden en suggereert dat Anthropic een hype rond kunstmatige intelligentie probeerde te creëren.
“Voor mij beschrijft Anthropic geavanceerde automatisering en niets anders”, zegt Michal “rysiek” Wozniak, een onafhankelijke cybersecurity-expert. “Er komt codegeneratie bij kijken, maar het is geen ‘intelligentie’, het is gewoon pittig kopiëren en plakken.”
Wozniak zei dat de release van Anthropic een afleiding was van een groter project IT-beveiliging Zorg: Bedrijven en overheden integreren ‘complexe en slecht begrepen’ AI-tools in hun activiteiten zonder ze te begrijpen, waardoor ze worden blootgesteld aan kwetsbaarheden. De echte dreiging is volgens hem de cybercriminelen zelf en lakse cyberbeveiligingspraktijken.
Anthropic heeft, net als alle grote AI-bedrijven, vangrails die moeten voorkomen dat zijn modellen helpen bij cyberaanvallen of schade in het algemeen bevorderen. Hij zei echter dat de hackers deze vangrails konden ondermijnen door Claude te vertellen de rol te simuleren van een “werknemer van een legitiem cyberbeveiligingsbedrijf” die tests uitvoert.
“De waardering van Anthropic ligt rond de 180 miljard dollar, en ze zijn er nog steeds niet achter hoe ze kunnen voorkomen dat hun gereedschap wordt ondermijnd door een tactiek die een 13-jarige gebruikt als hij iemand voor de gek wil houden.” zei Wozniak.
Marius Hobbhahn, oprichter van Apollo Research, een bedrijf dat kunstmatige-intelligentiemodellen evalueert op veiligheid, zei dat de aanvallen een teken zijn van wat er zou kunnen gebeuren als de capaciteiten toenemen.
“Ik denk dat de samenleving niet goed voorbereid is op dit soort snel veranderende landschap op het gebied van kunstmatige intelligentie en computermogelijkheden”, zei hij. “Ik verwacht dat er de komende jaren nog veel meer soortgelijke gebeurtenissen zullen plaatsvinden, mogelijk met grotere gevolgen.”
