Il lancio di SARAH, il nuovo chatbot dell’Organizzazione Mondiale della Sanità avvenuto il 2 aprile, prometteva un futuro brillante con un avatar virtuale supportato dalla potente IA GPT-3.5, pronto a dispensare consigli sanitari in otto lingue diverse, 24 ore su 24. Tuttavia, come spesso accade con i chatbot, SARAH ha mostrato sin da subito delle falle. È stato scoperto che il chatbot forniva informazioni errate, inclusi elenchi di cliniche inesistenti a San Francisco, un problema che l’OMS stessa ha riconosciuto sul suo sito web.
Questi incidenti non sono isolati, gli errori dei chatbot sono diventati un fenomeno culturale. La radice del problema risiede nella natura stessa dei modelli linguistici di grandi dimensioni: essi generano testo prevedendo la prossima parola in una sequenza, utilizzando miliardi di numeri per calcolare la probabilità statistica delle parole successive. Questo processo, sebbene sofisticato, non è immune agli errori. L’allucinazione, come viene definita questa tendenza ad inventare informazioni, è intrinseca alla natura probabilistica dei modelli linguistici. Nonostante i miglioramenti continui e l’addestramento su enormi quantità di testo, le imperfezioni persistono. Gli studiosi sperano che futuri sviluppi possano includere un controllo più accurato del testo prodotto dai modelli, magari attraverso tecniche come la verifica progressiva dei risultati (chain-of-thought prompting).
Tuttavia, finché i modelli rimarranno probabilistici, l’elemento di casualità sarà sempre presente. Ogni errore, anche raro, può avere conseguenze significative quando questi strumenti vengono utilizzati su larga scala.
La soluzione a lungo termine potrebbe non essere tecnologica, ma piuttosto una gestione più realistica delle aspettative. Potrebbe risultare cruciale comprendere i limiti di questi strumenti e non sovrastimarne le capacità. In tal modo potrebbe essere possibile minimizzare gli effetti delle allucinazioni dell’IA.
Leggi l’articolo completo: Why does AI hallucinate? su technologyreview.com.
Foto di Mon Esprit su Unsplash.
