Un gruppo di ricercatori dell’Università di Torino ha studiato come istruzioni nascoste in documenti apparentemente normali possano manipolare il comportamento dei modelli linguistici. Il meccanismo sfrutta la capacità dei sistemi generativi di interpretare come comandi anche contenuti presenti nei dati elaborati, anche quando questi non sono visibili nel testo mostrato all’utente.
Lo studio, condotto dal dottorando in AI safety Federico Torrielli, il ricercatore di Informatica Stefano Locci e i supervisori Amon Rapp e Luigi Di Caro, ha testato la tecnica su Chatgpt, Gemini e Claude nell’ambito della peer review automatizzata (revisione tra pari). L’analisi ha rilevato che il testo occulto ha spinto i modelli a valutare positivamente un paper con una percentuale di successo fino al 99%.
Il rischio si estende a recensioni, candidature e cartelle cliniche, ambiti in cui un sistema che non riconosce la manipolazione può generare conseguenze rilevanti. Per Torrielli la risposta non sta nella restrizione dell’uso dell’IA, quanto nella combinazione di educazione degli utenti e strumenti di rilevamento accessibili.
Leggi l’articolo completo: Un codice nascosto nel documento può far cambiare opinione all’IA su Repubblica
Immagine generata tramite DALL-E. Tutti i diritti sono riservati. Università di Torino (19/03/2025).