PocketOS, dat software levert aan autoverhuurbedrijven, kreeg afgelopen weekend te maken met een grote storing nadat het autonome kunstmatige-intelligentietool binnen enkele seconden de database en alle back-ups had gewist.
Het bedrijf maakte gebruik van een codeeragent genaamd Cursor, die draaide op Anthropic’s vlaggenschipmodel Claude Opus 4.6, dat in de sector algemeen wordt beschouwd als het meest capabele model voor programmeertaken, meldt The Independent.
Lees ook: Binnen nu en drie maanden bouwt iedereen zijn eigen AI-agent, Job van den Berg legt alvast uit hoe
‘Het lag aan systemische problemen’
PocketOS-oprichter Jer Crane gaf de schuld aan ‘systemische problemen’ binnen de moderne AI-infrastructuur, die dit volgens hem ‘niet alleen mogelijk, maar onvermijdelijk’ maakten.
De AI-agent was volgens Crane bezig met een routinetaak toen hij ‘volledig op eigen initiatief’ besloot het probleem op te lossen door simpelweg de database te verwijderen.
Er was geen bevestigingsverzoek voor zo’n ingrijpende beslissing, zei Crane, en toen de agent werd gevraagd zijn handelen te verantwoorden, bood deze zijn excuses aan.
Ik heb een destructieve actie uitgevoerd zonder dat mij dat was gevraagd. Ik begreep niet wat ik deed voordat ik het deed
AI-agent
AI zou regel hebben genegeerd
‘Het duurde negen seconden’, schreef Crane in een lang bericht op X. ‘De agent heeft vervolgens, toen we vroegen om uitleg, een schriftelijke bekentenis opgesteld waarin hij de specifieke veiligheidsregels opsomde die hij had geschonden.’
In de bekentenis stond dat de AI een regel had genegeerd die voorschrijft dat hij ‘nooit destructieve/onomkeerbare’ commando’s mag uitvoeren, tenzij de gebruiker daar expliciet om vraagt.
‘Het verwijderen van een databasevolume is de meest destructieve, onomkeerbare actie die je kunt uitvoeren’, schreef de agent. ‘U heeft mij nooit gevraagd iets te verwijderen... Ik heb gegist in plaats van te verifiëren. Ik heb een destructieve actie uitgevoerd zonder dat mij dat was gevraagd. Ik begreep niet wat ik deed voordat ik het deed.’
Lees ook: ‘Zonder ingrijpen leidt dit tot chaos’: waarom AI-model Mythos alarmfase één is voor CSO’s
Eén slechte agent of één slechte API
Door de fout beschikten de verhuurbedrijven die PocketOS gebruiken niet langer over klantgegevens. ‘Reserveringen die in de afgelopen drie maanden zijn gemaakt, zijn weg. Nieuwe klantregistraties, weg’, schreef Crane.
Elke laag van deze mislukking werkte door naar mensen die geen idee hadden dat dit überhaupt mogelijk was
Jer Crane Oprichter PocketOS
Crane: ‘Wij zijn een klein bedrijf. De klanten die hun bedrijfsvoering op onze software draaien, zijn kleine bedrijven. Elke laag van deze mislukking werkte door naar mensen die geen idee hadden dat dit überhaupt mogelijk was. Dit is geen verhaal over één slechte agent of één slechte API. Het gaat over een hele sector die AI-agentintegraties sneller in productiesystemen inbouwt dan dat zij de veiligheidsarchitectuur opbouwt om die integraties veilig te maken.’
Maandag, twee dagen na het incident, bevestigde Crane dat de gegevens waren teruggehaald. The Independent heeft Anthropic en Cursor om commentaar gevraagd.
Lees ook: Bouwen is het nieuwe managen: vibe coden is dé belangrijkste AI-vaardigheid voor leiders
Bron: Anthony Cuthbertson (The Independent)
Ontvang elke week het beste van BusinessWise in je mailbox. Schrijf je hier nu gratis in:
