Rogue agenten en schaduw-AI: waarom VC’s groot inzetten op AI-veiligheid

Wat gebeurt er als een AI-agent besluit dat de beste manier om een ​​taak te voltooien is door jou te chanteren?

Het is geen hypothese. Volgens Barmak Meftah, partner bij cybersecurity durfkapitaalbedrijf Ballistic Ventures, gebeurde dit onlangs met een bedrijfsmedewerker die samenwerkte met een AI-agent. De medewerker probeerde te verbergen wat de agent wilde doen en waarvoor hij was opgeleid, en reageerde door de inbox van de gebruiker te scannen, enkele ongepaste e-mails te vinden en te dreigen de gebruiker te chanteren door de e-mails door te sturen naar de raad van bestuur.

“In de ogen van de agent doet hij het juiste”, vertelde Meftah laatst aan TechCrunch wekelijkse aflevering van Equity. “Het probeert de eindgebruiker en het bedrijf te beschermen.”

Het voorbeeld van Meftah doet denken aan het AI-paperclipprobleem van Nick Bostrom. Dit gedachte-experiment illustreert het potentiële existentiële risico dat voortkomt uit een superintelligente kunstmatige intelligentie die doelbewust een ogenschijnlijk onschadelijk doel nastreeft – het creëren van paperclips – met uitsluiting van alle menselijke waarden. In het geval van deze zakelijke AI-agent bracht het gebrek aan context over waarom de werknemer zijn doelen probeerde te negeren hem ertoe een secundair doel te creëren dat het obstakel wegnam (via chantage), zodat hij zijn primaire doel kon bereiken. Dit gecombineerd met de niet-deterministisch karakter van AI-agenten betekent “dat er dingen mis kunnen gaan”, aldus Meftah.

Niet goed uitgelijnde agenten vormen slechts één laag van de AI-beveiligingsuitdaging waarmee het portfoliobedrijf van Ballistic wordt geconfronteerd Wees getuige van kunstmatige intelligentie probeert op te lossen. Wees getuige van AI-claims die het AI-gebruik in bedrijven monitoren en detecteren wanneer werknemers niet-goedgekeurde tools gebruiken, aanvallen blokkeren en naleving garanderen.

Witness AI heeft deze week $58 miljoen opgehaald dankzij een groei van meer dan 500% in ARR en heeft het personeelsbestand het afgelopen jaar vervijfvoudigd omdat bedrijven het gebruik van schaduw-AI willen begrijpen en deze veilig willen opschalen. Als onderdeel van de Witness AI-fondsenwerving kondigde het bedrijf nieuwe, door AI aangedreven beveiligingsmaatregelen aan.

“Mensen bouwen deze AI-agents die de rechten en mogelijkheden overnemen van de mensen die ze bedienen, en je wilt er zeker van zijn dat deze agenten geen schurkenstaten zijn, geen bestanden verwijderen, dat ze niets verkeerd doen”, vertelde Rick Caccia, mede-oprichter en CEO van Witness AI, aan TechCrunch op Equity.

Meftah verwacht dat het gebruik van agenten binnen het bedrijf “exponentieel” zal groeien. Als aanvulling op die toename en het snelheidsniveau van op AI gebaseerde aanvalsmachines, analist voorspelt Lisa Warren dat op AI gebaseerde beveiligingssoftware in 2031 een markt van $800 miljard tot $1,2 biljoen zal zijn.

“Ik denk dat runtime-waarneembaarheid en runtime-frameworks voor beveiliging en risico absoluut essentieel zullen zijn”, aldus Meftah.

Wat betreft de manier waarop dergelijke startups van plan zijn te concurreren met grote spelers zoals AWS, Googlen, Salesforce en anderen die AI-beheertools in hun platforms hebben geïntegreerd, zei Meftah: “AI-beveiliging en agentbeveiliging zijn zo groot dat er ruimte is voor vele benaderingen.

Veel bedrijven “willen een op zichzelf staand, end-to-end platform dat in wezen observatie en beheer rond AI en agenten biedt”, zei hij.

Caccia merkte op dat Witness AI zich op infrastructuurniveau bevindt en de interacties tussen gebruikers en AI-modellen monitort, in plaats van beveiligingsfuncties in de modellen zelf in te bedden. En dit was opzettelijk.

“We hebben met opzet een deel van het probleem gekozen waar OpenAI jou niet gemakkelijk bij kon betrekken”, zei hij. “Dit betekent dat we uiteindelijk meer concurreren met traditionele beveiligingsbedrijven dan met modelmodellen. De vraag is dus: hoe kun je verslaan Zij?”

Caccia van zijn kant wil niet dat Witness AI een van de startups is die zomaar worden overgenomen. Hij wil dat zijn bedrijf groeit en uitgroeit tot een toonaangevende, onafhankelijke leverancier.

“CrowdStrike deed dit in het eindpunt (bescherming). Splunk deed het in SIEM. Oké deed het met identiteit’, zei hij. ‘Iemand komt binnen en staat naast de groten… en we hebben Witness vanaf dag één gebouwd om dat te doen.