Secondo uno studio condotto dall’azienda francese Giskard, specializzata nella valutazione dell’IA, chiedere risposte brevi ai chatbot potrebbe aumentarne la tendenza a generare allucinazioni, ovvero informazioni inventate.
Infatti l’analisi, pubblicata in un post sul blog dell’azienda, mostra che l’istruzione “sii conciso” peggiora l’accuratezza fattuale dei modelli, in particolare quando le domande sono vaghe o mal formulate. Secondo i ricercatori, la richiesta di sintesi limita la capacità del modello di individuare premesse errate e articolare smentite.
I test sono stati condotti su modelli avanzati come GPT-4o (OpenAI), Mistral Large e Claude 3.7 Sonnet (Anthropic). I risultati confermano una perdita di precisione in corrispondenza di risposte brevi, anche in contesti in cui è fondamentale la correttezza delle informazioni.
Giskard sottolinea che molte applicazioni di IA favoriscono risposte concise per ridurre tempi di risposta, consumo di dati e costi computazionali. Tuttavia, come dimostra questo studio, ciò può compromettere la qualità delle risposte, soprattutto su temi controversi o sensibili.
Lo studio evidenzia, inoltre, che i modelli sono meno inclini a correggere affermazioni errate quando queste vengono presentate con sicurezza dagli utenti. I sistemi preferiti dagli utenti, tuttavia, non sempre coincidono con quelli più affidabili. Secondo i ricercatori, infatti, esiste una tensione strutturale tra accuratezza da parte del modello e allineamento con le aspettative dell’utente, in particolare quando queste si basano su premesse false.
Leggi l’articolo completo: Asking chatbots for short answers can increase hallucinations, study finds su techcrunch.com.
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (2025).
