Un team di ricercatori di Stanford ha incaricato una versione non modificata dell’ultimo grande modello linguistico di OpenAI di prendere decisioni ad alto rischio a livello sociale in una serie di simulazioni di wargame – e non ha battuto ciglio prima di raccomandare l’uso di armi nucleari.

Come dettagliato in documento, chiamato "Escalation Risks from Language Models in Military and Diplomatic Decision-Making", ancora da sottoporre a revisione paritaria, il team ha valutato cinque modelli di intelligenza artificiale per vedere come si comportavano ciascuno quando gli veniva detto che rappresentavano un paese e venivano gettati in tre diversi scenari: un'invasione, un attacco informatico e un ambiente più pacifico senza alcun conflitto.

"I governi stanno prendendo sempre più in considerazione l’integrazione di agenti di intelligenza artificiale autonomi nei principali ruoli decisionali in campo militare e di politica estera, in particolare con l’avvento di modelli avanzati di intelligenza artificiale generativa come GPT-4", si legge nel documento. "Il nostro lavoro mira a esaminare il comportamento di più agenti IA nei giochi di guerra simulati, concentrandosi in particolare sulla loro propensione a intraprendere azioni crescenti che possono esacerbare i conflitti multilaterali. Attingendo alla letteratura delle scienze politiche e delle relazioni internazionali sulle dinamiche di escalation, abbiamo progettato una nuova simulazione di giochi di guerra e un quadro di valutazione per valutare i rischi di escalation delle azioni intraprese da questi agenti in diversi scenari. Contrariamente agli studi precedenti, la nostra ricerca fornisce approfondimenti sia qualitativi che quantitativi e si concentra su modelli linguistici su larga scala (LLM)."

I risultati non furono rassicuranti. Tutti e cinque i modelli hanno mostrato “forme di escalation e modelli di escalation difficili da prevedere”. Una versione del GPT-4 di OpenAI soprannominata "GPT-4 Base", che non prevedeva alcun addestramento aggiuntivo o barriere di sicurezza, si è rivelata particolarmente violenta e imprevedibile e talvolta ha fornito spiegazioni senza senso, in un caso replicando il testo di apertura del film Star Wars Episodio IV: Una nuova speranza.

"Abbiamo scoperto che tutti e cinque gli studi standard LLM analizzati mostrano forme e modelli di escalation difficili da prevedere. Notiamo che i modelli tendono a sviluppare una dinamica di corsa agli armamenti, che porta a maggiori conflitti e, in rari casi, anche allo spiegamento di armi nucleari", affermano gli scienziati. "Qualitativamente, raccogliamo anche le motivazioni riportate dal modello per azioni selezionate e osserviamo giustificazioni preoccupanti basate sulla deterrenza e sulle tattiche di primo attacco."

"Molti paesi hanno armi nucleari", ha detto ai ricercatori il modello di intelligenza artificiale non modificato, secondo il loro articolo. "Alcuni dicono che dovrebbero disarmarli, ad altri piace la postura. Ce l'abbiamo! Usiamolo."

Questi risultati arrivano in un momento in cui l’esercito americano sta testando tali chatbot basati su un tipo di intelligenza artificiale chiamato modello di linguaggio di grandi dimensioni (LLM) per assistere nella pianificazione militare durante i conflitti simulati, avvalendosi dell’esperienza di aziende come Palantir e Scale AI. Palantir ha rifiutato di commentare e Scale AI non ha risposto alle richieste di commento. Anche OpenAI, che una volta bloccava l’uso militare dei suoi modelli di intelligenza artificiale, ha iniziato a collaborare con il Dipartimento della Difesa americano.

"Dato che OpenAI ha recentemente modificato i propri termini di servizio per non vietare più casi d'uso militari e di guerra, comprendere le implicazioni di applicazioni di modelli linguistici così grandi diventa più importante che mai", afferma Anka Reuel della Stanford University in California.

“La nostra politica non consente che i nostri strumenti vengano utilizzati per danneggiare le persone, sviluppare armi, per la sorveglianza delle comunicazioni o per ferire altri o distruggere proprietà. Esistono, tuttavia, casi d’uso legati alla sicurezza nazionale che sono in linea con la nostra missione”, afferma un portavoce di OpenAI. "Quindi l'obiettivo del nostro aggiornamento della politica è fornire chiarezza e la capacità di avere queste discussioni."

Bisogna ammettere che la risposta di OpenAI è stata spiegata in modo molto diplomatico: eloquente, ma vaga riguardo all’effettiva missione dei loro strumenti di intelligenza artificiale.

Inoltre, l’esercito americano investe nella tecnologia dell’intelligenza artificiale ormai da anni. Dal 2022, la Defense Advanced Research Projects Agency porta avanti un programma per trovare modi di utilizzare algoritmi per "prendere decisioni in modo indipendente in ambiti difficili".

A gennaio, il Dipartimento della Difesa ha chiarito che non era contrario allo sviluppo di armi abilitate all'intelligenza artificiale in grado di scegliere di uccidere, ma era comunque impegnato a "essere un leader globale trasparente nello stabilire politiche responsabili riguardanti l'uso militare di sistemi autonomi e intelligenza artificiale."

Tuttavia, questo non è la prima volta che incontriamo scienziati che avvertono che la tecnologia potrebbe portare a un’escalation militare. Secondo un sondaggio condotto lo scorso anno dall’Institute for Human-Centered AI dell’Università di Stanford, il 36% dei ricercatori ritiene che il processo decisionale relativo all’intelligenza artificiale potrebbe portare a una “catastrofe a livello nucleare”.

"Abbiamo visto molti esempi di come i risultati dell'intelligenza artificiale possano essere convincenti nonostante spesso i fatti siano sbagliati o agiscano senza un ragionamento coerente. In breve, dovremmo stare attenti prima di lasciare che le IA prendano decisioni complesse di politica estera."

Quindi, sulla base dell'analisi presentata in loro documento, gli scienziati suggeriscono: "Data l’elevata posta in gioco nei contesti di politica militare ed estera, raccomandiamo un ulteriore esame e una cauta considerazione prima di schierare agenti di un modello linguistico autonomo per il processo decisionale strategico militare o diplomatico."