Allucinazione di guerra: come un errore dell’intelligenza artificiale ha quasi scatenato lo scontro tra Stati Uniti e Cina

Un commando scelto americano era già in volo, pronto a calarsi sul ponte di un mercantile cinese diretto in Iran. Pochi minuti dopo si sarebbe aperto uno scontro diretto tra due potenze nucleari in acque internazionali.

L’operazione è stata fermata a un passo dal punto di non ritorno, come riportato dalla CNN: l’allarme che segnalava componenti per armi atomiche a bordo era una clamorosa invenzione prodotta da un software di intelligenza artificiale.

L’invenzione sui monitor del Pentagono

La vicenda, emersa da fonti della difesa statunitense, risale alla scorsa primavera. Un analista dell’intelligence militare doveva verificare il carico di una nave commerciale salpata dalla Cina con rotta verso i porti iraniani.

Invece di seguire le lunghe procedure manuali di controllo incrociato, l’operatore ha inserito i dati grezzi in un programma basato su modelli linguistici. Il sistema ha combinato note doganali pubbliche e frammenti di comunicazioni radio intercettate dal comando per il Pacifico. Il risultato fornito dal computer sembrava incontrovertibile: il mercantile stava trasportando parti critiche destinate al programma atomico di Teheran.

L’allarme è risalito immediatamente lungo la catena di comando fino ai vertici militari. In un contesto già segnato dalla volontà di impedire a ogni costo l’accesso dell’Iran all’arma nucleare, la risposta è stata fulminea: preparare l’arrembaggio armato della nave battente bandiera cinese.

Solo quando un gruppo di revisori ha voluto controllare i documenti d’origine prima dell’assalto, è emersa la realtà: il carico conteneva materiali industriali del tutto ordinari. Il software aveva semplicemente “allucinato” il pericolo nucleare, e siamo andati vicini a uno scontro globale per un errore della AI.

Perché il software ha fallito

I modelli di intelligenza artificiale generativa non comprendono i fatti, ma collegano parole e concetti in base a calcoli di probabilità statistica.

Negli uffici della difesa, questi strumenti sono spesso versioni commerciali riadattate, prive di quella precisione assoluta che la sicurezza nazionale richiede. Quando i dati a disposizione sono scarsi o frammentati, il sistema tende a colmare i vuoti inventando dettagli plausibili pur di offrire una risposta coerente alla domanda dell’utente.

Questo meccanismo presenta rischi sistemici evidenti:

• Falsa certezza formale: il sistema impagina relazioni scritte in un linguaggio burocratico impeccabile, inducendo chi legge a fidarsi ciecamente del contenuto.
• Mancanza di verifica critica: gli operatori più giovani tendono a considerare il software come un oracolo infallibile, saltando il riscontro manuale delle fonti primarie.
• Velocità contro accuratezza: la pressione temporale nelle sale operative spinge a preferire risposte immediate a verifiche lente ma corrette.

L’illusione del controllo umano e il sonno della ragione

Il rischio globale più profondo emerso da questa crisi risiede nella progressiva rinuncia al giudizio umano in favore della velocità delle macchine. I comandi militari di tutto il mondo stanno integrando l’intelligenza artificiale non solo per archiviare documenti, ma per selezionare bersagli da colpire, tracciare movimenti strategici e accelerare le decisioni belliche.

L’idea che vi sia sempre un “umano a controllare” si sta rivelando una pericolosa favola burocratica:

• Di fronte alla velocità degli algoritmi, l’uomo finisce per fare da semplice passacarte, fidandosi dello schermo senza verificare le premesse.
• La delega cieca a sistemi che non hanno alcuna cognizione della realtà rischia di abbattere l’ultima barriera tra la tensione diplomatica e il conflitto termonucleare.
• Non serve immaginare un’entità cibernetica cosciente e ribelle: per distruggere l’equilibrio mondiale basta un banale errore di calcolo inserito nella catena di lancio di una superpotenza.

A questo punto viene esaltata l’importanza del controllo e della prudenza, di chi, prima di schiacciare il pulsante finale, ci pensa molto bene. Si rivaluta il valore del dubbio, della verifica della veridicità delle informazioni. Cosa sarebbe successo se gli USA avessero abbordato a mano armata una nave battente bandiera cinese senza nessun motivo?