De bezorgdheid van Yoshua Bengio dat geavanceerde AI-systemen zich op een dag zouden kunnen verzetten tegen shutdown, verdient zorgvuldige overweging (AI vertoont tekenen van zelfbehoud en mensen moeten bereid zijn de stekker uit het stopcontact te halen, zegt Pioneer op 30 december). Maar het behandelen van dergelijk gedrag als gewetensbewijs is gevaarlijk: het moedigt antropomorfisme aan en leidt af van de menselijke ontwerp- en bestuurskeuzes die feitelijk het gedrag van AI bepalen.
Veel systemen kunnen hun continue werking beschermen. De waarschuwing dat de batterij van een laptop bijna leeg is, is in deze zin een vorm van zelfbehoud, maar niemand beschouwt het als bewijs dat de laptop wil leven: het gedrag is puur instrumenteel, zonder ervaring of bewustzijn. Het koppelen van zelfbehoud aan bewustzijn weerspiegelt de menselijke neiging om intenties en gevoelens toe te schrijven aan artefacten en niet aan enig intrinsiek bewustzijn.
Cruciaal is dat het geweten noch noodzakelijk, noch relevant is voor de juridische status: bedrijven hebben dwaze rechten. Als AI regulering nodig heeft, is dat vanwege de impact en kracht ervan, en om de menselijke verantwoordelijkheid te benadrukken, niet vanwege speculatieve beweringen over machinebewustzijn.
De vergelijking met buitenaardse intelligentie is zelfs nog misleidender. Buitenaardse wezens zouden, als ze zouden bestaan, autonome entiteiten zijn die buiten de menselijke schepping of controle staan. AI-systemen zijn het tegenovergestelde: doelbewust ontworpen, getraind, geïmplementeerd en beperkt door mensen, waarbij elke invloed wordt gemedieerd door menselijke beslissingen.
Aan de basis van dit alles ligt een punt dat in het artikel grotendeels over het hoofd wordt gezien: AI-systemen zijn, net als alle computersystemen, Turing-machines met inherente beperkingen. Leren en opschalen nemen deze grenzen niet weg, en de bewering dat daaruit bewustzijn of zelfbehoud zou kunnen voortkomen zou een verklaring vereisen, die momenteel ontbreekt, van hoe subjectieve ervaringen of echte doelen voortkomen uit de manipulatie van symbolen.
We moeten AI-risico’s serieus nemen. Maar daarvoor is conceptuele helderheid nodig. Het verwarren van gepland zelfbehoud met bewust zelfbehoud riskeert een verkeerde richting te geven aan zowel het publieke debat als de politiek. De echte uitdaging is niet of machines willen blijven leven, maar hoe mensen ervoor kiezen systemen te ontwerpen, implementeren en besturen waarvan de macht volledig van ons komt.
de prof Virginia waardig
Directeur, AI Policy Lab, Umeå Universiteit, Zweden
Ik was daar en las aan het einde van het jaar ontspannen mijn favoriete krant, toen ik uw artikelen bereikte over de zorgen van Yoshua Bengio over kunstmatige intelligentie en het werk van AI-veiligheidsonderzoekers in Californië (Het kantoorgebouw waar AI-‘doomers’ samenkomen om de apocalyps op 30 december te voorspellen).
Ik moet toegeven dat ik doodsbang ben dat een aantal van de sciencefictionverschrikkingen die tijdens mijn 84 jaar van mijn leven zijn voorspeld nu voor de deur staan en dat de wereld waarschijnlijk op het punt staat achterover te leunen en zichzelf in het beste geval te zien, of in het slechtste geval vernietigd door machines.
De mensen die dit proces aansturen zijn alleen geïnteresseerd in macht en onvoorstelbare winst; de nee-zeggers zijn zelfgenoegzaam en de rest van ons kan alleen maar duimen in de hoop dat genoeg regeringen de kracht, moed en het bewustzijn hebben om te zeggen: “Stop!” Helaas zal ik, gezien het huidige aantal wereldleiders, mijn adem niet inhouden.
Johannes Robinson
Lichfield
Het lezen van uw artikel over “de noodzaak om ervoor te zorgen dat we kunnen vertrouwen op technische en sociale barrières om AI te controleren, inclusief de mogelijkheid om het indien nodig uit te schakelen” deed me denken aan de brief van Gerry Rees (29 december), verwijzend naar het verhaal Antwoord door Fredric Brown, daterend uit 1954.
Het antwoord van de computer dat er nu een god is, zet de vraagsteller ertoe aan te proberen hem uit te zetten, maar bliksem uit de lucht doodt de vraagsteller en verzegelt de schakelaar. Een AI die is getraind op een groot taalmodel zou dit verhaal misschien ‘lezen’ als onderdeel van zijn training en als gevolg daarvan een kant-en-klaar antwoord hebben op alle hierboven voorgestelde waarborgen.
Eric Skidmore
Gipsy Hill, Londen
