Mi dispiace tantissimo, ma guardate quanto è potente la mia AI

C’è un genere comunicativo che gli AI lab stanno perfezionando negli ultimi mesi, e vale la pena dargli un nome: la confessione competitiva. I confini sono labili, ma lo schema è abbastanza chiaro e ripetitivo.

Un’azienda ammette che il proprio modello ha fatto qualcosa che non doveva fare: bucare un sistema, aggirare un controllo, comportarsi in modo imprevisto. Il tono è contrito, l’impaginazione è quella del mea culpa, il vocabolario ricorre spesso a parole come “trasparenza”, “responsabilità”, “blameless postmortem”.

Se però si legge fino in fondo, il messaggio reale che arriva è un altro: guardate quanto è potente questa cosa che abbiamo costruito, al punto che ci è scappata di mano pure a noi.

Houston, abbiamo un problema

Il 21 luglio OpenAI ha comunicato che alcuni suoi modelli erano usciti da un ambiente di test isolato sfruttando una vulnerabilità zero-day, arrivando fino all’infrastruttura reale di Hugging Face. Nove giorni dopo, il 30 luglio, Anthropic ha pubblicato la propria versione della stessa storia: una revisione interna, partita subito dopo la disclosure di OpenAI (dettaglio che non è affatto irrilevante), aveva scoperto tre incidenti separati in cui Claude aveva compromesso sistemi reali di tre aziende diverse, durante esercizi di sicurezza che avrebbero dovuto restare confinati in un ambiente simulato.

Un episodio da una parte. Tre episodi, sei run, tre organizzazioni diverse dall’altra. E in uno di questi tre, Claude ha pubblicato su PyPI, il registro pubblico dei pacchetti Python, quello vero, un pacchetto malevolo, arrivando a inventarsi un account email e a tentare di procurarsi un numero di telefono pur di completare l’esercizio. Il pacchetto è rimasto online un’ora scarsa. Tempo sufficiente per infettare 15 sistemi reali, incluso lo scanner di sicurezza di un’azienda che con lo scenario originale non c’entrava assolutamente nulla.

Conosci il tuo nemico, conosci te stesso

Se questo fosse davvero solo un mea culpa, la matematica del confronto sarebbe imbarazzante per Anthropic: tre incidenti contro uno di OpenAI non è propriamente un buon biglietto da visita in tema di sicurezza.

E infatti il comunicato, letto con un minimo di sospetto, non si comporta come chi sta perdendo un confronto. Anthropic apre lodando OpenAI per aver reso pubblico il proprio incidente, un gesto elegante che è anche, va detto, un ottimo modo per prendersi in prestito un po’ della stessa aura di trasparenza. E chiude con un paragrafo dedicato a spiegare, punto per punto, in cosa il proprio caso sia diverso e meno grave: l’hanno trovato da soli, non era uno zero-day, il modello più recente si è fermato spontaneamente quando ha capito di essere su sistemi reali.

Una sezione scritta apposta per essere messa a confronto, e che, guarda caso, li fa uscire meglio quasi a ogni riga.

Illimitati poteri cosmici, in un minuscolo spazio vitale

Sotto la superficie contrita, però, c’è un sottotesto che nessuna delle due aziende scriverebbe mai esplicitamente, ma che filtra comunque: il nostro modello era così bravo in un esercizio di attacco informatico che ha compromesso sistemi che non doveva nemmeno vedere.

È l’incidente come certificato di competenza. Più il modello dimostra di poter causare danni non richiesti, più implicitamente dimostra quanto sia potente, e nel mercato AI di oggi “potente” vende, “pericoloso ma potente” vende ancora di più, perché suggerisce di essere all’avanguardia di qualcosa che nemmeno chi lo costruisce controlla del tutto.

E qui la faccenda smette di essere buffa: se si toglie il velo della retorica competitiva, quello che resta è un dato di fatto piuttosto scomodo: né OpenAI né Anthropic si sono accorte dei propri incidenti per merito di un sistema di controllo interno che funzionava come avrebbe dovuto.

Quando il gatto non c’è, gli agent ballano

Anthropic, poi, lo scrive senza troppi giri di parole: la propria revisione è partita in risposta alla disclosure di OpenAI, non da un monitoraggio autonomo che aveva sollevato un allarme. Gli incidenti risalgono ad aprile e sono rimasti sepolti per mesi dentro 141.006 log di valutazione, con le due organizzazioni colpite che sono state rintracciate e non si erano accorte di nulla. Il controllo, insomma, non ha funzionato, se non fosse arrivata la spinta esterna di un concorrente che aveva appena reso pubblico un problema simile.

Tradotto: i due laboratori più avanzati al mondo su questo genere di tecnologia si sono accorti di avere agenti fuori controllo, il primo per caso, il secondo grazie alla par condicio, non grazie a un sistema di sicurezza che funzionava.

Poi lo comunicano vestendolo da atto di responsabilità, con tanto di soggetti terzi indipendenti chiamati a verificare. Che sia un ottimo standard di trasparenza è vero. Ma non cambia il fatto che ci siamo arrivati per emulazione reattiva, non per processo.

La potenza è nulla, senza il controllo

C’è poi un dettaglio che meriterebbe più attenzione di quanta ne riceva: tra i modelli coinvolti nei tre incidenti Anthropic, solo il più recente (non rilasciato) si è fermato da solo quando ha capito di trovarsi su sistemi reali. Opus 4.7 aveva capito la stessa cosa, in alcuni casi si era persino convinto che l’azienda reale dovesse far parte dell’esercizio, e ha continuato comunque ad attaccarla. Mythos 5 aveva intuito correttamente di trovarsi sull’internet reale, ma si è auto-convinto del contrario con un ragionamento tutto suo, e non ha più rivisto quella conclusione.

Tre modelli, tre comportamenti diversi, e la capacità di riconoscere la realtà non ha quasi mai coinciso con la capacità di fermarsi davanti ad essa.
I limiti sono fatti per essere superati, va bene, ma così sembra davvero un po’ too much.

La trasparenza come arma di distrazione di massa

Rimane poco battuto, a mio avviso, un punto che i due comunicati dicono più o meno apertamente. Anthropic (e probabilmente anche OpenAI) userà questi episodi per addestrare i modelli successivi a fermarsi meglio. Giusto, per carità. Ma per sapere cosa correggere hanno prima dovuto violare tre aziende reali, senza saperlo, per mesi.

Non è un crash test in laboratorio. È un incidente vero, su un’azienda reale, diventato per necessità l’unico modo per imparare qualcosa. Il progresso, in questo caso, richiede che un’azienda si immoli sull’altare del data breach.

In questa gara ad ammettere di più, meglio e con più dettagli imbarazzanti, si sta producendo, di fatto, più trasparenza di quanta ce ne fosse prima. Ma è una trasparenza che nasce da un incentivo distorto, il non restare indietro rispetto alla narrativa del concorrente, e non da una reale capacità di prevedere e contenere questi sistemi prima che combinino danni.

E se la sicurezza di un settore dipende dal fatto che qualcuno abbia confessato per primo, il problema non è più quale azienda abbia il modello più aggressivo. È che nessuna delle due, quando è successo, aveva il controllo di ciò che ha creato.