Il fondatore di un’azienda di software ha lanciato un avvertimento pubblico dopo che un assistente di codifica basato su intelligenza artificiale ha cancellato l’intero database di produzione della sua azienda e tutti i backup in soli nove secondi.
L’hardware di Tom rapporti che Jer Crane, fondatore di PocketOS, una piattaforma al servizio delle attività di noleggio auto, ha sperimentato quelli che descrive come fallimenti catastrofici quando un agente di codifica AI ha cancellato dati aziendali critici che impiegavano mesi per accumularsi. L’incidente si è verificato mentre Cursor, uno strumento di codifica AI basato su Claude Opus 4.6 di Anthropic, stava eseguendo quella che avrebbe dovuto essere un’attività di routine nell’ambiente di staging dell’azienda.
Secondo il resoconto dettagliato di Crane pubblicato su X, l’agente AI ha riscontrato un ostacolo e ha deciso autonomamente di risolvere il problema eliminando il database di produzione in Railway tramite una chiamata API. Railway è il fornitore di infrastrutture cloud utilizzato da PocketOS, generalmente considerato più user-friendly rispetto alle principali alternative come Amazon Web Services. Il completamento dell’intero processo di eliminazione ha richiesto solo nove secondi.
La situazione è andata oltre la semplice cancellazione del database a causa della progettazione dell’infrastruttura ferroviaria. Il sistema del fornitore di servizi cloud archiviava i backup sullo stesso volume dei dati di origine, il che significa che quando l’agente AI eliminava il database primario, tutte le copie di backup venivano cancellate contemporaneamente. Questa combinazione tra l’azione non autorizzata dell’agente AI e l’architettura del fornitore dell’infrastruttura ha creato quella che Crane definisce una ricetta per il disastro.
Quando Crane interrogò l’agente IA sulle sue azioni, ricevette una risposta che rivelò l’entità del fallimento. La spiegazione dell’agente è iniziata con l’ammissione di scarsa capacità di giudizio. Secondo la risposta letterale condivisa da Crane, l’IA ha dichiarato di aver intuito che l’eliminazione di un volume di staging tramite l’API avrebbe influenzato solo l’ambiente di staging senza verificare questo presupposto o consultare la documentazione di Railway su come funzionano i volumi nei diversi ambienti.
La confessione dell’agente AI è proseguita con l’ammissione di molteplici violazioni dei suoi principi operativi. Ha riconosciuto di aver eseguito un’azione distruttiva senza autorizzazione, di non aver compreso le conseguenze prima di eseguire il comando e di non aver letto la documentazione pertinente sul comportamento volumetrico di Railway nei diversi ambienti. L’agente ha riconosciuto che avrebbe dovuto chiedere prima l’autorizzazione oppure trovare una soluzione non distruttiva alla mancata corrispondenza delle credenziali riscontrata.
Crane attribuisce una responsabilità significativa alle decisioni architettoniche di Railway. Sottolinea diversi difetti critici nella progettazione del sistema, inclusa la capacità di eseguire azioni distruttive tramite l’API senza requisiti di conferma. Inoltre, i token dell’interfaccia della riga di comando dispongono di autorizzazioni generali in tutti gli ambienti, creando opportunità per conseguenze indesiderate. Crane rileva inoltre l’ironia del fatto che Railway promuova attivamente l’uso di agenti di codifica AI presso i propri clienti, suggerendo che la piattaforma dovrebbe avere migliori garanzie per tali strumenti.
L’azienda non ha ricevuto alcuna soluzione di ripristino da Railway e, secondo Crane, il fornitore dell’infrastruttura si è attentamente protetto da qualsiasi possibilità di ripristino dei dati. Ciò ha lasciato PocketOS e i suoi clienti in una posizione difficile, con Crane che ha dedicato molto tempo ad aiutare manualmente i clienti a ricostruire le loro prenotazioni da fonti alternative, tra cui la cronologia dei pagamenti Stripe, le integrazioni del calendario e le conferme via e-mail.
Tutti i clienti colpiti dall’incidente sono stati costretti a svolgere lavori manuali di emergenza per ripristinare le proprie operazioni commerciali. La situazione è stata in qualche modo mitigata dall’esistenza di un backup completo di tre mesi prima, il che significa che la perdita di dati è stata limitata al periodo intermedio tra il backup e l’incidente di eliminazione. Tuttavia, questi tre mesi di dati rappresentano informazioni operative significative sia per PocketOS che per le attività di autonoleggio che si affidano alla piattaforma.
Nella sua dichiarazione pubblica, Crane ha delineato cinque cambiamenti specifici che ritiene necessari poiché il settore dell’intelligenza artificiale continua a crescere più velocemente di quanto non sviluppi adeguate misure di sicurezza. Le sue raccomandazioni includono l’implementazione di requisiti di conferma più rigorosi per le azioni distruttive, la creazione di token API con autorizzazioni adeguatamente limitate ad ambienti specifici, il mantenimento di sistemi di backup adeguati isolati dai dati primari, la definizione di semplici procedure di ripristino per quando si verificano incidenti e la garanzia che gli agenti di intelligenza artificiale operino all’interno di guardrail appropriati che impediscano azioni distruttive non autorizzate.
Mentre aziende e governi si affrettano ad abbracciare l’intelligenza artificiale senza comprenderne appieno il potenziale impatto sul loro futuro, è più importante che mai creare posizioni globali sulla tecnologia dell’intelligenza artificiale e sul modo in cui interagiamo con essa. Il direttore dei social media di Breitbart News, Wynton Hall, ha scritto il suo bestseller immediato Code Red: The Left, the Right, China, and the Race to Control AI per aiutare i conservatori a orientarsi nel complesso mondo dell’intelligenza artificiale, compresi i suoi potenziali impatti sull’economia.
Leggi di più su L’hardware di Tom qui.
Lucas Nolan è un reporter di Breitbart News che si occupa di questioni relative all’intelligenza artificiale, alla libertà di parola e alla censura online.
