João Freitas is algemeen directeur en vice-president van engineering voor kunstmatige intelligentie en automatisering bij Pager
Nu het gebruik van AI in grote organisaties blijft evolueren, zijn leiders steeds meer op zoek naar de volgende ontwikkeling die een grotere ROI kan genereren. De nieuwste golf van deze aanhoudende trend is de adoptie van AI-agenten. Maar net als bij elke nieuwe technologie moeten organisaties ervoor zorgen dat ze AI-agenten op verantwoorde wijze inzetten, waardoor ze zowel snelheid als veiligheid kunnen faciliteren.
Meer dan de helft van de organisaties heeft al tot op zekere hoogte AI-agents geïmplementeerd, en anderen verwachten dit voorbeeld de komende jaren te zullen volgen. Maar veel early adopters heroverwegen nu hun aanpak. Vier op de tien technologieleiders hebben er spijt van dat ze geen een sterkere bestuursbasis vanaf het begin, wat erop wijst dat ze AI snel hebben ingevoerd, maar dat er ruimte is om het beleid, de regels en de beste praktijken te verbeteren die zijn ontworpen om de verantwoorde, ethische en juridische ontwikkeling en het gebruik van AI te garanderen.
Naarmate de adoptie van AI versneltOrganisaties moeten de juiste balans vinden tussen het risico op blootstelling en het implementeren van barrières om ervoor te zorgen dat het gebruik van AI veilig is.
Waar creëren AI-agenten potentiële risico’s?
Er zijn drie belangrijke aandachtsgebieden voor een veiligere adoptie van AI.
De eerste is Schaduw-AIwanneer werknemers malafide AI-tools gebruiken zonder uitdrukkelijke toestemming, waarbij goedgekeurde tools en processen worden omzeild. IT moet de noodzakelijke processen voor experimenten en innovatie creëren om efficiëntere manieren te introduceren om met AI te werken. Hoewel schaduw-AI al zo lang bestaat als AI-tools zelf, maakt de autonomie van AI-agents het gemakkelijker voor malafide tools om buiten het bereik van IT te opereren, wat nieuwe veiligheidsrisico’s met zich mee kan brengen.
Ten tweede moeten organisaties de gaten in het eigendom en de aansprakelijkheid van AI dichten om zich voor te bereiden op incidenten of misgelopen processen. De kracht van AI-agenten ligt in hun autonomie. Als agenten echter op onverwachte manieren handelen, moeten teams kunnen bepalen wie verantwoordelijk is voor het oplossen van eventuele problemen.
Het derde risico doet zich voor wanneer er sprake is van een gebrek aan verklaarbaarheid van de acties die door AI-agenten worden ondernomen. AI-agenten zijn doelgerichtmaar hoe ze hun doelen bereiken, is misschien onduidelijk. AI-agenten moeten een verklaarbare logica achter hun acties hebben, zodat ingenieurs acties kunnen volgen en, indien nodig, terugdraaien die problemen met bestaande systemen kunnen veroorzaken.
Hoewel geen van deze risico’s de adoptie mag vertragen, zullen ze organisaties helpen hun veiligheid beter te waarborgen.
De drie richtlijnen voor de verantwoorde adoptie van AI-agenten
Zodra organisaties de risico’s hebben geïdentificeerd die AI-agentia kunnen opleveren, moeten ze richtlijnen en barrières implementeren om een veilig gebruik te garanderen. Door deze drie stappen te volgen, kunnen organisaties deze risico’s minimaliseren.
1: Maak menselijk toezicht de standaard
Het AI-bureau blijft zich in een snel tempo ontwikkelen. We hebben echter nog steeds menselijk toezicht nodig wanneer AI-agenten de mogelijkheid krijgen om actie te ondernemen, beslissingen te nemen en een doel na te streven dat van invloed kan zijn op belangrijke systemen. Er moet standaard een mens bij betrokken worden, vooral bij bedrijfskritische gebruiksscenario’s en systemen. Teams die AI gebruiken, moeten begrijpen welke acties ze kunnen ondernemen en waar ze mogelijk moeten ingrijpen. Begin conservatief en verhoog na verloop van tijd de mate van keuzevrijheid die aan AI-agenten wordt toegekend.
Samen moeten operationele teams, ingenieurs en beveiligingsprofessionals begrijpen welke rol zij spelen bij het toezicht op de workflows van AI-agenten. Aan elke agent moet een specifieke menselijke eigenaar worden toegewezen voor duidelijk omschreven toezicht en verantwoordelijkheid. Organisaties moeten ook toestaan dat ieder mens het gedrag van een AI-agent rapporteert of opheft wanneer een actie mislukt.
Bij het overwegen van de taken van AI-agenten moeten organisaties begrijpen dat hoewel traditionele automatisering effectief is in het afhandelen van repetitieve, op regels gebaseerde processen met gestructureerde gegevensinvoer, AI-agenten veel complexere taken kunnen afhandelen en zich autonomer kunnen aanpassen aan nieuwe informatie. Dit maakt ze een aantrekkelijke oplossing voor alle soorten bedrijven. Maar zodra AI-agents zijn geïmplementeerd, moeten organisaties bepalen welke acties de agenten kunnen ondernemen, vooral in de vroege stadia van een project. Daarom moeten teams die met AI-agenten werken goedkeuringspaden hebben voor acties met een hoge impact om ervoor te zorgen dat de reikwijdte van de agent niet verder reikt dan de beoogde gebruiksscenario’s, waardoor de risico’s voor het bredere systeem worden geminimaliseerd.
2: Veilig koken
De introductie van nieuwe tools mag een systeem niet blootstellen aan nieuwe veiligheidsrisico’s.
Organisaties moeten agentplatforms overwegen die voldoen aan hoge beveiligingsnormen en gevalideerd zijn door certificeringen op ondernemingsniveau, zoals SOC2, FedRAMP of gelijkwaardig. Bovendien mogen AI-agenten geen vrije teugel krijgen in de systemen van een organisatie. De machtigingen en het beveiligingsbereik van een AI-agent moeten op zijn minst in lijn zijn met het bereik van de eigenaar, en eventuele tools die aan de agent worden toegevoegd, mogen geen uitgebreide machtigingen toestaan. Het beperken van de toegang van AI-agenten tot een systeem op basis van hun rol zal er ook voor zorgen dat de implementatie soepel verloopt. Door een volledige registratie bij te houden van elke actie die door een AI-agent wordt ondernomen, kunnen ingenieurs ook begrijpen wat er is gebeurd in het geval van een incident, en kunnen ze het probleem tot het probleem herleiden.
3: Maak de resultaten verklaarbaar
Het gebruik van AI in een organisatie mag nooit een black box zijn. De redenering achter elke actie moet worden geïllustreerd, zodat elke ingenieur die er toegang toe probeert te krijgen, de context kan begrijpen die door de agent wordt gebruikt voor de besluitvorming en toegang kan krijgen tot de sporen die tot die acties hebben geleid.
IDe input en output voor elke actie moeten worden vastgelegd en toegankelijk zijn. Dit zal organisaties helpen een duidelijk beeld te krijgen van de logica achter de acties van een AI-agent, wat aanzienlijke waarde oplevert als er iets misgaat.
Veiligheid is de basis van het succes van AI-agenten
AI-agents bieden organisaties enorme kansen om bestaande processen te versnellen en te verbeteren. Als ze echter geen prioriteit geven aan veiligheid en sterk bestuur, kunnen ze zichzelf blootstellen aan nieuwe risico’s.
Nu AI-agenten steeds gebruikelijker worden, moeten organisaties ervoor zorgen dat ze over systemen beschikken om hun prestaties te meten en om actie te kunnen ondernemen als ze problemen veroorzaken.
Lees meer van onze gastschrijvers. Of overweeg om uw eigen bericht in te dienen! Zie de onze richtlijnen hier.
Welkom bij de VentureBeat-community!
In ons gastpostprogramma delen technische experts inzichten en bieden ze neutrale, niet-verdeelde inzichten over kunstmatige intelligentie, data-infrastructuur, cyberbeveiliging en andere geavanceerde technologieën die de toekomst van de onderneming vormgeven.
Lees meer uit ons gastenpostprogramma en bekijk ons richtlijnen als u geïnteresseerd bent om uw artikel bij te dragen!
