Un nuovo studio condotto dai ricercatori di Apple mette in luce limiti significativi nelle capacità di ragionamento matematico delle moderne Intelligenze Artificiali, anche quelle più avanzate.
La ricerca, pubblicata a ottobre 2024, ha analizzato in modo approfondito come i Large Language Models (LLM) – i modelli alla base di sistemi come ChatGPT – affrontano problemi matematici di livello elementare.
Lo studio e i risultati
Lo studio ha introdotto un nuovo benchmark chiamato GSM-Symbolic, evoluzione del già noto test GSM8K utilizzato per valutare le capacità matematiche delle IA. La novità principale è che GSM-Symbolic può generare molteplici varianti dello stesso problema matematico, permettendo una valutazione più accurata e controllata.
I risultati sono sorprendenti:
1. Instabilità nelle Risposte
I LLM mostrano una notevole variabilità nelle risposte quando vengono presentate diverse versioni dello stesso problema matematico. Ad esempio, cambiando solo i numeri ma mantenendo identica la struttura del problema, le prestazioni peggiorano significativamente.
2. Difficoltà Crescente con la Complessità
All’aumentare del numero di elementi da considerare in un problema, le prestazioni dei modelli peggiorano drasticamente. Questo suggerisce che i LLM faticano a gestire ragionamenti che richiedono più passaggi logici.
3. Sensibilità alle Informazioni Irrilevanti
Un aspetto particolarmente interessante è che aggiungendo informazioni apparentemente pertinenti ma in realtà irrilevanti per la soluzione, le prestazioni crollano fino al 65%. Questo vale anche per i modelli più avanzati.
Un sofisticato sistema di pattern matching
Questi risultati suggeriscono che i modelli attuali non eseguono un vero ragionamento logico-matematico come fanno gli umani. Piuttosto, sembrano basarsi su un sofisticato sistema di pattern matching, cercando di replicare schemi di ragionamento visti durante l’addestramento.
“Il nostro lavoro evidenzia che, nonostante i progressi impressionanti degli ultimi anni, c’è ancora molta strada da fare prima che le IA possano davvero ragionare in modo affidabile su problemi matematici“, spiegano i ricercatori.
Questo studio è particolarmente rilevante in un momento in cui si discute molto sull’utilizzo delle IA in ambito educativo e professionale. Suggerisce che, per compiti che richiedono un ragionamento matematico rigoroso, è ancora fondamentale la supervisione umana.
Per gli sviluppatori e i ricercatori, GSM-Symbolic rappresenta un nuovo strumento importante per valutare e migliorare le capacità di ragionamento delle IA, oltre a evidenziare aree specifiche che necessitano di ulteriore sviluppo.
Leggi l’articolo originale qui.
