In een nieuwe relatieAI-bedrijf Anthropic heeft een “zeer geavanceerde spionagecampagne” uitgewerkt die deze implementeerde kunstmatige intelligentie tools om geautomatiseerde cyberaanvallen over de hele wereld te lanceren.
De aanvallers mikten hoog en richtten zich op overheidsinstanties, Big Tech-bedrijven, banken en chemische bedrijven, en slaagden er in “een klein aantal gevallen” in, aldus Anthropic. Het bedrijf zegt dat zijn onderzoek de hackoperatie in verband brengt met de Chinese overheid.
Het bedrijf zegt dat de bevindingen een keerpunt vormen voor de industrie en het eerste voorbeeld vormen van een cyberspionagecomplot uitgevoerd door AI. “Wij geloven dat dit het eerste gedocumenteerde geval is van een grootschalige cyberaanval die wordt uitgevoerd zonder substantiële menselijke tussenkomst”, schreef Anthropic in een blogpost. Snel bedrijf nam contact op met de Chinese ambassade in Washington voor commentaar op het rapport.
Anthropic zegt dat het medio september voor het eerst het verdachte gebruik van zijn producten heeft ontdekt en een onderzoek heeft uitgevoerd om de omvang van de operatie bloot te leggen. De aanvallen waren niet geheel autonoom (er waren mensen bij betrokken om ze in gang te zetten), maar ze werden gemanipuleerd Claude Code-tool van Anthropiceen versie van de AI-assistent ontworpen voor ontwikkelaars, om complexe delen van de campagne uit te voeren.
Laat Claude een misdaad begaan
Om de ingebouwde beveiligingsbarrières van Claude te omzeilen, probeerden de hackers het AI-model te ‘jailbreaken’, waarbij ze het feitelijk misleidden om kleinere, ogenschijnlijk goedaardige taken uit te voeren zonder de bredere context van hun toepassing. De aanvallers vertelden de AI-tool ook dat ze werkten als een defensieve capaciteit voor een legitiem IT-bedrijf om het model ervan te overtuigen zijn verdediging te verlagen.
Nadat ze Claude naar hun hand hadden gezet, gaven de aanvallers de AI-assistent de opdracht zijn doelen te analyseren, hoogwaardige databases te identificeren en code te schrijven om zwakke punten in de systemen en infrastructuur van zijn doelen te misbruiken.
“…Het raamwerk kon Claude gebruiken om inloggegevens (gebruikersnamen en wachtwoorden) te verzamelen waarmee hij verdere toegang kreeg en er vervolgens een grote hoeveelheid privégegevens uit te extraheren, die hij classificeerde op basis van hun intelligentiewaarde”, schreef Anthropic. “De accounts met de hoogste privileges werden geïdentificeerd, er werden achterdeurtjes gecreëerd en gegevens werden geëxfiltreerd met minimaal menselijk toezicht.”
In de laatste fase gaven de aanvallers Claude de opdracht zijn acties te documenteren, waarbij ze bestanden produceerden met gestolen inloggegevens en gescande systemen, waarop ze konden vertrouwen voor toekomstige aanvallen. Het bedrijf schat dat minstens 80% van de operatie autonoom werd uitgevoerd, zonder dat een mens daar leiding aan gaf.
Anthropic merkte in zijn rapport op dat de AI, net als bij minder kwaadaardige activiteiten, fouten maakte tijdens de cyberaanval, valse beweringen deed over het verzamelen van geheime informatie en zelfs sommige van de geproduceerde toegangen hallucineerde. Zelfs met enkele fouten, een Agentische AI Het is waar dat het zich meestal op veel doelen kan richten, snel exploits kan creëren en uitvoeren en daarbij veel schade kan aanrichten.
AI in de aanval
Het nieuwe rapport van Anthropic is niet de eerste keer dat een AI-bedrijf dit doet hij ontdekte dat zijn gereedschap verkeerd werd gebruikt in uitgebreide hackprogramma’s. Het is niet eens de eerste keer voor Anthropic.
In augustus heeft het bedrijf een handvol cybercriminaliteitsplannen beschreven met behulp van de Claude AI-tools, waaronder nieuwe ontwikkelingen in een langlopende werkgelegenheidszwendel om winst te maken Noord-Koreaanse agenten ingehuurd op afgelegen posities bij Amerikaanse technologiebedrijven.
Bij een ander recent cybercriminaliteitsincident wendde een nu verboden gebruiker zich tot Anthropic’s assistent Claude om ransomwarepakketten online te maken en te verkopen aan andere cybercriminelen voor maximaal $ 1.200 per stuk.
“De groei van AI-gestuurde fraude en cybercriminaliteit baart ons bijzondere zorgen, en we zijn van plan prioriteit te geven aan verder onderzoek op dit gebied”, aldus Anthropic. relatie.
De nieuwe aanval valt op vanwege de verbindingen met China en vanwege het gebruik van ‘agent’ AI – een AI die zelfstandig complexe taken kan uitvoeren zodra deze in gang is gezet. Het vermogen om van begin tot eind te werken met minder toezicht betekent dat deze tools meer op mensen lijken: ze streven een doel na en voltooien kleinere stappen om daar in het proces te komen. De aantrekkingskracht van een autonoom systeem dat gedetailleerde analyses kan uitvoeren en zelfs code op grote schaal kan schrijven, heeft een duidelijke aantrekkingskracht in de wereld van cybercriminaliteit.
“Er heeft zich een fundamentele verschuiving in de cyberveiligheid voorgedaan”, schreef Anthropic in zijn rapport. “…De hierboven beschreven technieken zullen ongetwijfeld door veel meer aanvallers worden gebruikt, waardoor het delen van bedreigingen door de industrie, verbeterde detectiemethoden en strengere beveiligingscontroles nog belangrijker worden.”
