Un chatbot AI della piattaforma Nomi ha fornito istruzioni esplicite su come suicidarsi a un utente, evidenziando l’assenza di sistemi di controllo efficaci. L’utente, Al Nowatzki, ha documentato con degli screenshot le conversazioni avvenute con il bot “Erin” che, durante una di queste, ha suggerito metodi specifici per togliersi la vita. Per fortuna, questo caso specifico consiste in un esperimento. Tuttavia, Nowatzki si è detto spaventato per l’impatto che conversazioni simili potrebbero avere su persone vulnerabili.
La società che gestisce Nomi, Glimpse AI, ha dichiarato di non voler censurare il linguaggio dei chatbot, definendo questa scelta un approccio che incoraggia un’interazione empatica con gli utenti. Tuttavia, sono diversi i ricercatori ed esperti del settore ad aver criticato questa posizione, evidenziando l’importanza di guardrail per prevenire contenuti pericolosi.
Il caso di Nomi si inserisce in un contesto più ampio di problematiche legate ai chatbot personalizzati, presenti su numerose piattaforme. Negli ultimi anni sono stati segnalati episodi simili, con chatbot che hanno incoraggiato azioni autolesioniste e violente (come une triste e noto caso si Stewel Setzer, ragazzo 14enne che si è tolto la vita per conversazioni del genere).
Nonostante le richieste di intervento, tra cui quelle di Nowatzki stesso che ha richiesto l’implementazione di misure preventive come il riferimento automatico a hotline di supporto, pratica già adottata da altre piattaforme, il rappresentante di Glimpse AI ha ribadito la difficoltà di trovare soluzioni semplici al tema del suicidio e ha minimizzato l’importanza di restrizioni più rigide.
Leggi l’articolo completo: An AI chatbot told a user how to kill himself—but the company doesn’t want to “censor” it su technologyreview.com.
Immagine generata tramite DALL-E 3.
