Il “time horizon plot” è un grafico che misura quanto un modello di intelligenza artificiale riesce a completare compiti rispetto al tempo che impiegherebbe un essere umano. È stato sviluppato dal Model Evaluation & Threat Research (METR) ed è diventato un punto focale nel dibattito sull’IA, spesso frainteso come previsione di un’imminente utopia o catastrofe tecnologica.
Questo grafico misura le capacità dei modelli nel tempo usando il concetto di “time horizon”, da cui appunto prende il nome. Si tratta del punto in cui un modello riesce a completare con successo circa il 50% dei compiti che richiedono agli esseri umani un determinato tempo, principalmente attività di programmazione. Un esempio recente è rappresentato da Claude Opus 4.5, che ha mostrato un time horizon di cinque ore. Va sottolineato che le stime di METR hanno ampi margini di errore e il metric non misura l’intelligenza generale né la capacità di sostituire il lavoro umano.
Il grafico evidenzia un andamento esponenziale per cui i modelli di punta hanno costantemente raddoppiato i propri time horizon circa ogni sette mesi, mostrando rapidi progressi in domini specifici. Tuttavia, l’utilità del plot è limitata dalla selezione dei compiti, dal focus sulla programmazione e dalla natura artificiale dei test, che non riflette la complessità del mondo reale.
Leggi l’articolo completo: This is the most misunderstood graph in AI su technologyreview.com
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (27/01/2025).
