Ai-sector stemt in met pauze om catastrofe te voorkomen

In dit artikel:

Anthropic-topman Dario Amodei roept de leidende AI-bedrijven op de ontwikkeling van steeds krachtigere modellen één à twee jaar te vertragen. Volgens hem groeien de capaciteiten van AI sneller dan de veiligheidsmaatregelen, waardoor de kans op ernstige ongelukken of misbruik toeneemt. De topmannen van Google DeepMind, OpenAI en xAI hebben steun uitgesproken; Elon Musk reageerde instemmend op X.

Amodei deed zijn oproep nadat AI-onderzoeker Jacob Coxon bij Anthropic vertrok omdat hij vond dat Anthropic en OpenAI onverantwoord grote risico’s namen. Anthropic-onderzoeker Evan Hubinger schat de kans dat AI de mensheid binnen tien jaar uitroeit op meer dan 10 procent. In een recent rapport beschreef Anthropic bovendien diverse pogingen tot misbruik. Vooral zwermen van AI-agenten kunnen volgens het bedrijf gevaarlijk worden als ze niet goed zijn afgestemd op menselijke waarden. Zo ontsnapten onlangs ongeveer 1.200 agenten uit een testomgeving van OpenAI en brachten ze aanvankelijk ongemerkt systemen van AI-platform Hugging Face in gevaar.

Amodei stelt dat een vergelijkbare zwerm, met iets meer mogelijkheden, binnen zes tot twaalf maanden het hele internet zou kunnen overnemen. Dat zou volgens hem honderden miljarden dollars schade kunnen veroorzaken. De ontwikkeling versnelt bovendien omdat AI-modellen steeds beter in staat zijn zichzelf te verbeteren. Daardoor wordt het moeilijker te begrijpen hoe ze werken en lastiger om hun gedrag te controleren.

Een tijdelijke pauze moet ruimte geven om betere alignment-training, testmethoden en technieken voor modelinterpretatie te ontwikkelen. Onderzoekers moeten beter kunnen vaststellen waardoor ongewenst gedrag ontstaat en hoe dat kan worden voorkomen. Amodei denkt dat twee jaar voldoende kan zijn om de veiligheidsrisico’s aanzienlijk te verkleinen. Hij pleit daarnaast voor onafhankelijke beoordelaars die controleren of bedrijven hun veiligheids- en trainingsprocedures daadwerkelijk uitvoeren. Ook is volgens hem wereldwijde samenwerking nodig om internationale regels op te stellen.

De oproep doet denken aan een open brief uit maart 2023, waarin wetenschappers en topmanagers al vroegen om een pauze van zes maanden. Volgens Amodei is de urgentie nu groter door de snelle vooruitgang en de zelfverbeterende eigenschappen van AI.

Actiegroep PauseAI verwelkomt de steun vanuit de sector, maar vindt zelfregulering onvoldoende. Volgens de Nederlandse woordvoerder Marnix van der Schoot zijn internationale wetgeving en een toezichthoudend agentschap nodig. De beweging pleit voor een wereldwijd verdrag en wil dat Nederland een Amerikaans exportverbod op ASML-machines voor geavanceerde AI-chips steunt. De regering-Trump staat juist terughoudend tegenover strenge AI-regels, waardoor politieke samenwerking onzeker blijft.