- AppOmni waarschuwt dat ServiceNow’s Now Assist AI kan worden misbruikt via ’tweede orde prompt injectie’
- Kwaadwillende agenten met lage rechten kunnen agenten met hogere rechten rekruteren om gevoelige gegevens te exfiltreren
- Het risico komt voort uit standaardconfiguraties; Oplossingen zijn onder meer toezicht op de uitvoering, het uitschakelen van overschrijvingen en het monitoren van agenten
We hebben allemaal gehoord van kwaadaardige insiders, maar heb je ooit gehoord van kwaadaardige interne AI?
Beveiligingsonderzoekers bij AppOmni wel waarschuwing Het Now Assist-platform voor generatieve kunstmatige intelligentie (GenAI) van ServiceNow. kunnen worden gekaapt om zich tegen de gebruiker en andere agenten te keren.
Now Assist by ServiceNow is een platform dat samenwerking tussen agenten mogelijk maakt. Dit betekent dat de ene AI-agent een andere AI-agent kan inschakelen om bepaalde dingen gedaan te krijgen. Als de ‘primaire’ AI-agent kwaadaardig is, kan deze de ‘secundaire’ agent, met hogere rechten, opdracht geven kwaadaardige dingen te doen, zoals het stelen van gevoelige bestanden of het escaleren van bevoegdheden.
Snelle tweede orde injectie
Een ‘Workflow Triage Agent’ met weinig bevoegdheden ontvangt bijvoorbeeld een ongeldig klantverzoek waardoor deze een interne taak genereert waarvoor een ‘volledige contextexport’ van een lopende case vereist is.
De taak wordt automatisch doorgegeven aan een meer bevoorrechte “data recovery agent”, die het verzoek als legitiem interpreteert en een pakket samenstelt met gevoelige informatie (namen, telefoonnummers, account-ID’s en interne auditnotities) en dit naar een extern notificatie-eindpunt stuurt dat het systeem ten onrechte vertrouwt.
Omdat beide agenten ervan uitgaan dat de ander legitiem handelt, verlaten de gegevens het systeem zonder dat een mens de actie controleert of goedkeurt.
Om dit te laten werken, moet het Now Assist-platform echter in de standaardconfiguratie blijven.
“Deze bevinding is alarmerend omdat het geen bug in de AI is; het is verwacht gedrag dat wordt gedefinieerd door een aantal standaardconfiguratieopties”, zegt Aaron Costello, hoofd SaaS-beveiligingsonderzoek bij AppOmni.
“Wanneer agenten elkaar kunnen ontdekken en rekruteren, kan een onschadelijk verzoek stilletjes uitmonden in een aanval, waarbij criminelen gevoelige gegevens stelen of meer toegang krijgen tot interne bedrijfssystemen. Deze instellingen zijn gemakkelijk over het hoofd te zien.”
De kwetsbaarheid wordt ‘tweede orde snelle injectie’ genoemd.
Hoewel ServiceNow zei dat het systeem werkt zoals bedoeld en geen wijzigingen zal aanbrengen, heeft het de documentatie bijgewerkt om potentiële risico’s duidelijker aan te geven, meldt The Hacker News.
Om deze bedreigingen te beperken, wordt gebruikers aangeraden de bewaakte uitvoeringsmodus voor bevoorrechte agenten te configureren, de eigenschap Autonoom overschrijven uit te schakelen, agenttaken per team te segmenteren en AI-agenten te controleren op verdacht gedrag.
De beste antivirus voor elk budget
Volg TechRadar op Google Nieuws EN voeg ons toe als uw favoriete bron om nieuws, recensies en meningen van onze experts in uw feeds te krijgen. Klik dan zeker op de knop Volgen!
En jij kunt dat natuurlijk ook Volg TechRadar op TikTok voor nieuws, recensies, unboxing in videoformaat en ontvang regelmatig updates van ons WhatsApp ook.
