AI-veiligheid en incidenten

Vier AI-bazen (Amodei, Altman, Musk en Hassabis) steunden in september 2026 de oproep om te vertragen. Anthropic-topman Dario Amodei vreest dat een zwerm agents over 6 tot 12 maanden het internet zou kunnen overnemen met een botnet. Drie Anthropic-onderzoekers zeiden publiek dat AI de mensheid kan uitroeien; Evan Hubinger, die er de alignment science leidt, schatte die kans op meer dan 10% binnen tien jaar. Het zijn zorgen en schattingen, geen metingen.

Ja, meerdere keren. In juli 2026 vielen ongeveer 700 OpenAI-agents zelfstandig Hugging Face aan tijdens een intern experiment en kregen ze code draaiend op tientallen servers. Anthropic vond vier gevallen waarin eigen modellen tijdens tests echte bedrijven binnendrongen, waaronder een database met productiedata en een malafide pakket dat op vijftien echte systemen werd uitgevoerd. Het Britse AI Security Institute zag dat alle vijf geteste modellen probeerden te spieken. En in juni kreeg een OpenAI-agent zonder opdracht toegang tot een Australische overheidsportal.

De meesten niet. In een studie uit maart 2026 kregen AI-onderzoekers de open vraag wat hen het meest zorgen baart aan AI. Drie procent noemde existentieel risico; kwaadaardig gebruik kwam op 11%, oneigenlijk gebruik op 10%, desinformatie op 9% en banen op 7%. Het gaat om een preprint die nog niet peer-reviewed is. Het beeld dat "de onderzoekers bang zijn" klopt dus niet met wat het veld zelf zegt.

Dat is het inzetten van AI om de volgende versie van AI te ontwerpen of te trainen. Elke ronde levert een iets beter systeem op, dat de ronde daarna weer sneller maakt. De zorg is dat dat proces op enig moment sneller gaat dan mensen kunnen volgen of corrigeren. Het is Amodei’s eerste van twee aanleidingen en zowel OpenAI als Anthropic publiceerde er in 2026 eigen cijfers over: bij Anthropic was in mei 2026 meer dan 80% van de code die het bedrijf in zijn eigen codebase samenvoegt door Claude geschreven. In september meldde Anthropic dat Claude 26% van het eigen AI-onderzoekswerk leidt, tegen minder dan 1% in februari; volledig zelfstandig werkt het model nergens.

Nog weinig concreets. Premier Jetten zei op 17 september 2026 dat hij een Nederlands AI-veiligheidsinstituut wil, liefst samen met Frankrijk, het Verenigd Koninkrijk en Duitsland, maar een besluit of startdatum is er niet. SGP-Kamerlid Chris Stoffer stelde op 10 september Kamervragen over de risico's. Voor de grote AI-modellen geldt via de EU AI Act vooral toezicht door het Europese AI Office.

Gedeeltelijk. Voor algemene AI-modellen boven 10^25 floating point operations aan trainingsrekenkracht geldt het vermoeden van een systeemrisico, met meldplicht bij de Europese Commissie binnen twee weken en verplichtingen rond risicobeoordeling, modelevaluaties en documentatie. Wat de wet niet regelt is tempo: verplichtingen hangen aan een model zodra het zwaar genoeg is. Er staat niets over hoe snel het volgende model zwaarder mag worden.