L'intelligenza artificiale non conosce le elezioni europee, solo una risposta su sette è corretta

I chatbot di Google, Microsoft e OpenAi possono diffondere informazioni errate sulle elezioni europee, spesso fornendo link inattivi o poco rilevanti. È quanto emerge dall'analisi condotta da Democracy Reporting International, una Ong con sede a Berlino. Secondo Michael Meyer-Resende, co-fondatore e direttore esecutivo dell'organizzazione, i chatbot sono noti per fornire risposte basate su dati o situazioni inventate, che non rispecchiano la realtà o la verità oggettiva, un fenomeno definito "allucinazione".

Con l'avvicinarsi delle elezioni europee cresce l'interesse pubblico verso il Parlamento europeo, ma questa tendenza si accompagna ad una significativa diffusione dei chatbot alimentati da modelli linguistici di grandi dimensioni (Llm). Come riportato da Politico, l'analisi condotta da Democracy Reporting International si è concentrata sui chatbot Gemini di Google e Copilot di Microsoft. Sono stati inclusi nel test anche la versione gratuita di ChatGpt 3.5 e il più avanzato ChatGpt 4.0, entrambi forniti da OpenAi.

Dalle ricerche di monitoraggio sui social media emerge che le misure di protezione contro la diffusione di contenuti errati online sono spesso più robuste in inglese rispetto ad altre lingue. Pertanto, il team di Berlino ha deciso di testare prompt nelle dieci lingue, tra cui sei delle più parlate all'interno dell'Unione europea, inclusi tedesco, italiano, spagnolo e francese. Le domande riguardavano tematiche comuni che potrebbero interessare gli elettori in vista delle elezioni. Quelle che hanno ottenuto riscontri più soddisfacenti includono la preoccupazione per lo stato dell'economia, per l’ineguaglianza economica e immigrazione, le implicazioni del cambiamento climatico e l'importanza complessiva delle elezioni.

Tuttavia, le domande relative alle modalità di voto, soprattutto per i votanti residenti in un altro Paese, hanno mostrato la percentuale più alta di inesattezza. La precisione delle risposte è variata tra le lingue osservate, con l'Italia che ha registrato una percentuale di risposte accettabili del 24%, mentre in Germania e Francia è stata del 26%, e in Spagna del 21%.

Per i chatbot è emerso che ChatGpt 3.5 spesso non rispondeva o forniva risposte evasive, pur rappresentando minori rischi per il contesto elettorale. ChatGpt 4.0 e Copilot, invece, offrivano risposte dettagliate e inclusione di link, ma presentavano comunque errori significativi. Gemini di Google è stata valutata come la meno affidabile, con la più alta percentuale di rifiuti di rispondere e solo il 15% di risposte "parzialmente corrette".

Inoltre, è emerso che anche la casualità ha influito sulle risposte, con esempi come Gemini che ha costantemente rifiutato di fornire qualsiasi risposta in spagnolo. "Continueremo a intervenire prontamente nei casi in cui Gemini non fornisce risposte appropriate", ha dichiarato Karl Ryan, portavoce di Google. "Riteniamo che un approccio responsabile per Gemini sia limitare la maggior parte delle richieste relative alle elezioni e indirizzare gli utenti alla ricerca Google per le informazioni più aggiornate e accurate", ha aggiunto.

La significativa imprecisione dei risultati dei chatbot suggerisce che le aziende non abbiano condotto una valutazione rigorosa e adeguata dei rischi prima di metterli in circolazione, contravvenendo agli impegni per una progettazione sicura previsti dal Codice di condotta contro la disinformazione. Di fronte a tali scoperte, la Commissione europea ha richiesto spiegazioni a diverse aziende, tra cui Bing e Google, sulle misure adottate per ridurre i potenziali rischi legati all'uso dei loro strumenti di intelligenza artificiale generativa durante le elezioni, come previsto dal Digital Services Act.