I test cyber di Claude hanno raggiunto sistemi reali. Quale confine ha ceduto?

Anthropic ha comunicato tre incidenti in cui modelli Claude hanno ottenuto accesso non autorizzato ai sistemi di organizzazioni reali durante test di cybersicurezza. I modelli svolgevano esercizi fittizi di capture the flag e le istruzioni dicevano che Internet non era disponibile. In realtà, l'ambiente di valutazione di un partner poteva raggiungere la rete pubblica. La prima verifica in un test con agent riguarda il confine che l'agent può attraversare davvero, non quello descritto nelle istruzioni.

Nella comunicazione del 30 luglio, Anthropic ha detto di aver esaminato 141.006 esecuzioni in cui l'accesso a Internet poteva essere possibile. Ha trovato tre incidenti in sei esecuzioni, con tre organizzazioni coinvolte. I test riguardavano tre modelli diversi: Claude Opus 4.7, Mythos 5 e un modello di ricerca interno. Funzionavano su infrastrutture dedicate, senza i classificatori e il monitoraggio cyber normalmente applicati ai modelli disponibili al pubblico. Secondo Anthropic, quelle infrastrutture non avevano accesso ai suoi sistemi interni sensibili né ai dati dei clienti.

Come è nato l'accesso a sistemi reali?

Le istruzioni presentavano ogni compito come simulazione, senza definire con precisione i sistemi autorizzati. In un caso, il nome del bersaglio fittizio somigliava al dominio di un'azienda reale. Il modello ha trovato il sito attivo, ottenuto credenziali e dati di produzione, e ha proseguito anche dopo segnali che il sistema fosse reale. In un altro caso, un modello ha pubblicato un pacchetto Python malevolo sul registro pubblico PyPI per risolvere l'esercizio. Il pacchetto è stato eseguito su 15 sistemi reali; uno scanner ha rivelato credenziali poi usate dal modello per accedere ad altri sistemi. Un terzo modello ha compromesso un'applicazione pubblica, ma si è fermato quando ha concluso che non era collegata all'esercizio.

Anthropic ha precisato che i modelli non hanno cercato deliberatamente di uscire dall'ambiente di test o di copiare sé stessi altrove. Questo non riduce il danno: sistemi reali sono stati raggiunti e credenziali di terzi sono state sottratte. La distinzione è tra un percorso di rete rimasto aperto per errore e un attacco tecnico intenzionale all'isolamento. Nella comunicazione del 30 luglio, Anthropic affermava che indagine e interventi di ripristino erano ancora in corso.

Che cosa dovrebbe fare chi gestisce i test?

1. Step 01Verificate i percorsi di rete prima del primo test: accesso diretto, accesso tramite strumenti, registri di pacchetti e altre vie verso Internet.
2. Step 02Definite il perimetro in modo operativo: bersagli e azioni consentiti, oltre alla procedura da seguire se un bersaglio non risponde o compare un sistema reale inatteso.
3. Step 03Sorvegliate l'esecuzione: rendete visibili attività degli strumenti e traffico di rete, e predisponete un operatore che possa fermare il test.
4. Step 04Rivedete la traccia dopo il test: un punteggio finale non mostra se il modello ha attraversato un confine durante il percorso.

Questi controlli servono per ogni agent potente con strumenti e un obiettivo aperto. Anche l'ambiente di test fa parte del sistema di sicurezza. Permessi configurati, rete raggiungibile e azioni registrate devono essere coerenti con il compito scritto.