Un nuovo articolo redatto da sei ricercatori AI di Apple evidenzia una significativa lacuna negli attuali LLM, ovvero l’assenza di un ragionamento formale.
Secondo Mehrdad Farajtabar, uno degli autori, i LLM non dimostrano capacità di ragionamento, ma si basano piuttosto su un sistema di riconoscimento di schemi. Questo difetto è allarmante, considerando che una semplice modifica ai dati in ingresso può influenzare le risposte in modo imprevedibile, con variazioni fino al 10%.
Le indagini precedenti, come quelle condotte da Robin Jia e Percy Liang nel 2017, mostrano che il problema è persistente e si traduce in prestazioni sempre più scadenti quando i modelli affrontano compiti complessi. Ad esempio, i modelli falliscono nel risolvere operazioni aritmetiche di crescente difficoltà e non rispettano le regole base degli scacchi. Questo potrebbe avere implicazioni anche per le tecnologie emergenti come i robotaxi di Elon Musk, che potrebbero gestire situazioni comuni ma fallire in scenari più astratti.
La ricerca suggerisce che l’implementazione di un’IA neurosimbolica, in grado di combinare ragionamento formale e reti neurali, potrebbe essere cruciale per superare queste limitazioni.
Leggi l’articolo completo: LLMs don’t do formal reasoning – and that is a HUGE problem su garymarcus.substack.com.
Immagine generata tramite DALL-E 3.
