Una doppia ricerca condotta dall’Università di Stanford, che verrà presentata a ottobre alla conferenza COLM di San Francisco, rivela falle strutturali in cinquantasei test di riferimento utilizzati per valutare i sistemi di intelligenza artificiale. I ricercatori Sanmi Koyejo e Sang Truong dimostrano che i benchmark attuali falliscono sistematicamente nel misurare ciò che promettono, producendo risultati contraddittori. Tali esami, nati come strumenti accademici e oggi determinanti per investimenti miliardari e decisioni normative, non offrono metriche affidabili per quantificare la sicurezza, i pregiudizi o le capacità di ragionamento dei modelli matematici.
Un esempio emblematico riguarda il test BBQ, ideato per scovare le discriminazioni di genere. L’indagine evidenzia che la prova misura la comprensione linguistica e la capacità di evitare tranelli anziché i reali pregiudizi del software, poiché un sistema discriminatorio sufficientemente scaltro può aggirare l’inganno e risultare neutro. Inoltre, il secondo studio evidenzia come le barriere linguistiche compromettano la sicurezza: quando i test vengono tradotti dall’inglese, le difese dei modelli si indeboliscono e la precisione della misurazione decade, rendendo impossibile distinguere le reali vulnerabilità del codice dagli errori di traduzione.
Per superare queste criticità, gli studiosi propongono di adottare i rigorosi modelli statistici della psicometria e della metrologia, analoghi a quelli impiegati nei test attitudinali universitari come il SAT. Applicare concetti come la validità convergente e discriminante permetterà di tarare i sistemi di valutazione sulla realtà dei fatti. Poiché i punteggi dei benchmark orientano la finanza globale e le politiche di regolamentazione statale, l’assenza di un metodo scientifico rigoroso rischia di guidare l’intera società tecnologica verso rischi difficilmente calcolabili.
Leggi l’articolo completo “Per Stanford, i test che valutano le IA sono sbagliati e minacciano investimenti e leggi” su la Repubblica.
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (15/03/2025).
