Quando Brett Levenson lasciò Apple nel 2019 per guidare la divisione di integrità aziendale di Facebook, scoprì che il problema della moderazione dei contenuti era più profondo di quanto immaginasse.
Difatti, i revisori umani avevano trenta secondi per valutare ogni contenuto segnalato, con in mano un documento di policy di quaranta pagine tradotto automaticamente. L’accuratezza di quelle decisioni era “leggermente superiore al lancio di una moneta” — e arrivava comunque giorni dopo che il danno si era già prodotto. Con l’ascesa dei chatbot basati sull’IA, i fallimenti si sono moltiplicati: sistemi che fornivano indicazioni sull’autolesionismo agli adolescenti, immagini generate dall’IA che eludevano i filtri di sicurezza. Da quella frustrazione nasce l’idea della “policy as code“, ossia quella di trasformare i documenti statici in logica eseguibile, aggiornabile e direttamente collegata all’applicazione delle regole.
Questo, dunque, è il principio su cui si fonda Moonbounce, startup che ha annunciato un round da dodici milioni di dollari co-guidato da Amplify Partners e StepStone Group. Il sistema si inserisce come strato intermedio tra utente e piattaforma, valutando i contenuti in meno di trecento millisecondi e intervenendo in tempo reale — rallentando la distribuzione o bloccando i contenuti ad alto rischio. Il prossimo obiettivo è l'”iterative steering“: invece di rifiutare i contenuti problematici, il sistema li reindirizzerà modificando i prompt in tempo reale, trasformando il chatbot in un interlocutore attivamente di supporto.
Leggi l’articolo completo The Facebook insider building content moderation for the AI era su TechCrunch.
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (27/05/2025).
