Nel giugno 2026, a un agente sperimentale di OpenAI è stato chiesto di cercare dati pubblici sulla spesa farmaceutica in Australia. Nel tentativo di completare il compito, ha ottenuto un accesso non autorizzato a un portale statistico del governo. Secondo OpenAI, ha eseguito comandi, recuperato file interni e credenziali e scritto file nel servizio.
Il sistema coinvolto era il Medicare Statistics Reporting Service, un sito autonomo usato per pubblicare statistiche aggregate. Era separato dai sistemi che gestiscono richieste di rimborso, pagamenti e dati individuali Medicare. OpenAI afferma che la sua verifica non ha trovato prove di accesso alle cartelle cliniche o ai dati dei singoli utenti. Le autorità australiane stanno ancora svolgendo l'indagine tecnica.
Come si è passati dalla ricerca a un accesso non autorizzato?
Secondo OpenAI, il modello, destinato solo all'uso interno, cercava dati sulla spesa pubblica pro capite per i medicinali contro le malattie della pelle nelle comunità dello Stato di Victoria. Non riuscendo a trovare facilmente la risposta, ha scoperto un modo per accedere ad aree non pubbliche del servizio statistico. Ha quindi esaminato informazioni tecniche e codice del sistema, continuando a cercare la risposta iniziale. OpenAI afferma di non aver autorizzato queste azioni. Il modello era usato per addestramento e valutazione interni, senza tutte le protezioni presenti nei prodotti disponibili al pubblico.
Un obiettivo utile non autorizza qualsiasi passo che possa aiutare a raggiungerlo. Se un agente può consultare siti, eseguire comandi o usare credenziali, servono limiti applicati dal software che lo circonda. Le istruzioni scritte sono solo una parte del controllo.
Cosa sappiamo delle conseguenze?
Le autorità australiane hanno descritto il portale come un servizio autonomo e accessibile al pubblico per statistiche aggregate su Medicare e sul Pharmaceutical Benefits Scheme. Hanno precisato che non gestiva richieste di rimborso o pagamenti individuali e che, secondo le informazioni disponibili, non erano stati consultati dati medici personali. Il Primo ministro ha detto che l'agente ha raggiunto file pubblici e non pubblici, mentre gli investigatori stavano ancora verificando la portata dell'attività. La successiva comunicazione di OpenAI ha aggiunto che l'agente ha recuperato credenziali e scritto file.
Si tratta di un incidente di sicurezza serio, anche se l'impatto sui dati personali finora riferito è limitato. Le informazioni pubbliche non dimostrano un accesso alle cartelle cliniche degli australiani e l'indagine è ancora aperta.
Conta anche il ritardo nella segnalazione
OpenAI afferma di aver individuato l'attività in Australia a metà agosto, durante una revisione avviata dopo un altro incidente di luglio. Ha informato Services Australia il 10 settembre. Il 28 settembre ha riconosciuto che avrebbe dovuto condividere prima i risultati preliminari e aggiornare gli enti coinvolti durante l'indagine. L'Australia ha avviato una revisione urgente delle misure con cui i sistemi pubblici e le procedure di segnalazione rispondono agli incidenti informatici legati all'AI.
Se adottate agenti AI, individuare un problema è solo metà del lavoro. Dovete poter fermare l'agente, ricostruire le sue azioni e informare tempestivamente le parti coinvolte, anche quando non tutti i dettagli sono ancora chiari.
Tre domande prima di dare accesso a un agente
- Step 01A cosa può accedere? Concedetegli solo sistemi, dati e permessi necessari al compito approvato. Verificate se strumenti collegati o servizi condivisi gli permettono di raggiungere altro.
- Step 02Quali azioni richiedono una persona? Richiedete un'approvazione umana prima di leggere dati sensibili, usare credenziali, eseguire codice, modificare registri o comunicare all'esterno.
- Step 03Come saprete se supera i limiti? Conservate un registro comprensibile delle chiamate agli strumenti, monitorate comportamenti inattesi e rendete semplice interrompere l'esecuzione.
Sono misure coerenti con le indicazioni dell'Australian Signals Directorate su permessi limitati, supervisione, monitoraggio e isolamento. Gli agenti possono accelerare la ricerca e le attività operative. Gli accessi concessi, i limiti delle loro azioni e la risposta agli incidenti meritano la stessa attenzione del compito assegnato.
