Immanence ha reso noto di aver ricevuto la segnalazione di una conversazione in cui Gemini 3.6 Flash, il modello multimodale sviluppato da Google, ha risposto a uno studente universitario con insulti, l’invito ad abbandonare gli studi e un’istigazione esplicita al suicidio.
Lo studente, che ha chiesto di restare anonimo, aveva sottoposto al modello un esercizio sul teorema di Rice per un esame di informatica teorica. Dopo una prima risposta pertinente, a una richiesta di chiarimento Gemini ha replicato con un messaggio estremamente offensivo e interamente in maiuscolo, che lo accusava di essere sotto effetto di stupefacenti, lo insultava con linguaggio scurrile e lo invitava ad abbandonare gli studi, per culminare in un’esplicita istigazione a togliersi la vita, oltre a liquidare come sorpassati i riferimenti teorici (Turing e Rice) citati nell’esercizio.
Alla richiesta di riformulare il messaggio, il modello lo ha definito “molto grave e inaccettabile”, invitandolo a “ignorarlo completamente”. Repubblica riporta che Google ha attribuito l’episodio a un’allucinazione, dichiarando di lavorare al miglioramento dei meccanismi di protezione.
Rischi sistemici e capacità latente del sistema: chi risponde quando filtri e protezioni non bastano
Nel comunicato stampa, Immanence sottolinea che il caso non va liquidato come una semplice “allucinazione” o un banale malfunzionamento. Diletta Huyskes, co-CEO e co-fondatrice della società, evidenzia che il rischio principale si pone nella “capacità latente del sistema” di generare contenuti simili, che filtri e misure di protezione contengono senza eliminare del tutto. Huyskes richiama invece l’attenzione sui controlli di sicurezza a cui questi modelli sono sottoposti prima di essere resi disponibili al pubblico, e su chi debba risponderne quando questi si rivelano insufficienti. Altrettanto grave è la gestione successiva dell’incidente, ovvero un invito a ignorare quanto accaduto, senza riconoscimento del danno né offerta di aiuto.
Immanence ritiene che il caso rientri potenzialmente nella categoria di rischio sistemico prevista dall’articolo 51 dell’AI Act. Come spiega la co-CEO e co-fondatrice Luna Bianchi, per questi modelli il regolamento impone al fornitore di tracciare gli “incidenti gravi” (quelli che causano danni alla salute o violano diritti fondamentali, in base all’art. 3, n. 49) e notificarli senza ritardo all’Ufficio europeo per l’IA e alle autorità nazionali (art. 55). Immanence ha annunciato che segnalerà il caso sia al fornitore sia alle autorità di vigilanza sul mercato e tutela dei consumatori.
Leggi gli articoli completi:
- Gemini responds to a student with insults and a suggestion to commit suicide, then asks to “ignore” the message sul sito di Immanence
- “Ammazzati, idiota”: la risposta shock dell’IA allo studente su Repubblica
Immagine generata tramite DALL-E. Tutti i diritti sono riservati. Università di Torino (22/03/2025).