Un nuovo studio pubblicato su arXiv mette in discussione il mantra “più grande è meglio” nel campo dell’intelligenza artificiale, evidenziando come questa corsa alle dimensioni dei modelli stia creando problemi di sostenibilità, equità e progresso scientifico.
La ricerca, condotta da un team internazionale guidato da Gael Varoquaux dell’Inria (Francia), dimostra che l’attuale tendenza a sviluppare modelli AI sempre più grandi non solo è insostenibile dal punto di vista ambientale ed economico, ma sta anche concentrando il potere nelle mani di poche grandi aziende tech.
“Contrariamente alla credenza popolare, i modelli più grandi non sempre offrono prestazioni migliori”, spiega lo studio. I ricercatori hanno analizzato numerosi benchmark e hanno scoperto che le prestazioni tendono a stabilizzarsi dopo una certa dimensione del modello, rendendo gli ulteriori aumenti di scala poco efficaci.
I numeri sono impressionanti: il costo energetico per l’addestramento di un grande modello linguistico può raggiungere le 550 tonnellate di CO2, equivalenti alle emissioni annuali di oltre 100 auto. ChatGPT, con i suoi 10 milioni di utenti giornalieri, consuma in poche settimane più energia per l’inferenza di quanta ne richieda l’intero addestramento.
Lo studio evidenzia anche come questa corsa alla grandezza stia marginalizzando la ricerca accademica. Un singolo chip Nvidia H100, necessario per questi modelli, costa fino a 40.000 dollari, rendendo impossibile per la maggior parte dei laboratori universitari competere con i giganti tech.
La soluzione proposta? Rivalutare l’importanza dei modelli più piccoli e specializzati. “Per molte applicazioni pratiche, dai sistemi sanitari all’educazione, modelli più contenuti e mirati possono offrire prestazioni equivalenti o superiori”, sottolineano i ricercatori.
Gli autori concludono con un appello alla comunità scientifica per stabilire nuove norme che valorizzino l’efficienza e la sostenibilità, non solo le dimensioni. Suggeriscono di rendere obbligatoria la documentazione dei costi computazionali ed energetici nella ricerca sull’AI, promuovendo così un approccio più consapevole e sostenibile.
Immagine in copertina generata tramite FLUX.
Leggi l’articolo completo su ArXiv:
