OpenAI ha pubblicato un nuovo studio che affronta il nodo delle allucinazioni dei modelli linguistici, ovvero le risposte false generate con apparente sicurezza.
La ricerca mostra che il fenomeno non dipende solo dalla qualità dei dati di addestramento, ma è piuttosto una conseguenza matematica inevitabile del funzionamento dei LLM. Anche a partire da dati di addestramento di alta qualità, le allucinazioni persistono perché i modelli predicono le parole sequenzialmente – ovvero una dopo l’altra – sulla base della probabilità, accumulando incertezze che raddoppiano il tasso di errore rispetto a semplici domande sì/no.
L’analisi di OpenAI si sofferma anche sul ruolo dei sistemi di valutazione. Nove dei dieci principali benchmark utilizzati da Google, OpenAI e nelle classifiche di settore penalizzano i modelli che dichiarano dubbi, assegnando zero punti sia alle risposte incerte che a quelle completamente errate. Questo meccanismo incentiva matematicamente l’IA a “tirare a indovinare”, piuttosto che astenersi, per massimizzare il punteggio atteso.
OpenAI propone dunque di introdurre delle soglie di certezza che permettano all’IA di esprimere dubbi, riducendo efficacemente le allucinazioni. Come nota The Conversation, implementare questa soluzione richiederebbe costi computazionali significativamente maggiori e degraderebbe l’esperienza utente. Se infatti ChatGPT iniziasse a rispondere “non lo so” anche solo al 30% delle domande, molti utenti probabilmente abbandonerebbero il servizio.
Gli incentivi commerciali dell’IA consumer rimangono quindi strutturalmente disallineati con la riduzione del fenomeno. Diverso il discorso per gli ambiti ad alta criticità, come finanza, logistica o medicina, dove ridurre le allucinazioni diventa non solo sostenibile ma soprattutto necessario.
Leggi gli articoli completi:
- Why OpenAI’s solution to AI hallucinations would kill ChatGPT tomorrow su The Conversation
- Why language models hallucinate su OpenAI
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (03/02/2025).
