Un problema di configurazione ha permesso agli utenti della piattaforma Civitai di generare video pornografici non consensuali per mezzo dell’IA, nonostante il sito vieti espressamente tali contenuti. La scoperta, fatta da 404 Media, ha rivelato come fosse possibile creare video con contenuti sensibili e persone reali, celebri e non, a basso costo, utilizzando modelli di IA personalizzati presenti sulla piattaforma.
Dopo la segnalazione, Civitai ha corretto il problema tecnico che riguardava la moderazione automatica, riuscendo a bloccare la generazione di video non consensuali con celebrità. Invece, per quanto riguarda le persone comuni, non famose, permangono ancora delle falle.
Il sistema di moderazione c’è e prevede un doppio controllo, pre e post-generazione, effettuato tramite la tecnologia Clavata. Tuttavia, ci sono alcune vulnerabilità che persistono, specialmente quando si tratta di video realizzati con immagini di persone comuni, in quanto più difficili da riconoscere e filtrare.
La facilità con cui gli utenti creano contenuti sensibili non consensuali è stata evidenziata anche attraverso gruppi Telegram, dove con soli pochi dollari si possono generare decine di video. La moneta virtuale del sito, chiamata “Buzz”, permette di effettuare queste operazioni a costi contenuti. Civitai ha introdotto nuove regole e partnership tecnologiche nel tentativo di contrastare questi abusi, ma la complessità tecnica e la natura stessa degli strumenti generativi rendono quasi impossibile eliminare completamente i rischi.
Nel 2023, Civitai era già finita sotto i riflettori per la generazione di immagini discutibili, tema che aveva portato alla perdita di un partner tecnico e all’implementazione di misure di sicurezza.
Leggi l’articolo completo: ‘Configuration Issue’ Allows Civitai Users to AI Generate Nonconsensual Porn Videos su 404media.co.
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (2025).
