Un’indagine condotta da ricercatori dell’AI Security Institute del governo britannico e delle università di Stanford, Berkeley e Oxford ha rivelato gravi carenze in oltre 440 benchmark utilizzati per verificare la sicurezza e l’efficacia dei modelli di intelligenza artificiale. Questi test rappresentano oggi l’unica rete di protezione in assenza di regolamentazioni nazionali nel Regno Unito e negli Stati Uniti, ma secondo lo studio quasi tutti presentano debolezze significative che “minano la validità delle conclusioni” e potrebbero rendere i risultati “irrilevanti o persino fuorvianti”.
Durante l’indagine i ricercatori hanno rilevato molteplici criticità. In molti casi, ad esempio, i concetti presi in esame risultano mal definiti o contestati. Andrew Bean, ricercatore dell’Oxford Internet Institute e autore principale dello studio, sottolinea che “senza definizioni condivise e misurazioni solide, diventa difficile sapere se i modelli stiano realmente migliorando o solo apparendo migliori”. Inoltre solo il 16% dei benchmark fornisce stime di incertezza o test statistici che ne esplicitano il grado di accuratezza.
I test di benchmark sono alla base di quasi tutte le affermazioni sui progressi dell’IA, ma la loro affidabilità risulta compromessa. Le conseguenze pratiche di questi limiti si sono già manifestate in alcuni incidenti. Recentemente, Google ha ritirato il suo modello Gemma dopo aver diffamato una senatrice statunitense con false accuse, mentre Character.ai ha vietato ai teenager l’accesso ai suoi chatbot in seguito a controversie legate a casi di autolesionismo e suicidio. Gli esperti ribadiscono la necessità urgente di standard condivisi e migliori pratiche di valutazione per andare nella direzione di uno sviluppo dell’IA sicuro e responsabile.
Leggi l’articolo completo: Experts find flaws in hundreds of tests that check AI safety and effectiveness su The Guardian
Immagine generata tramite DALL-E. Tutti i diritti sono riservati. Università di Torino (11/03/2025).
