LLM che ragionano in uno spazio latente continuo: nasce Coconut, il nuovo modello per risolvere problemi complessi

Dal linguaggio naturale al pensiero continuo: il nuovo paradigma per migliorare il ragionamento gli LLM

I Large Language Models (LLM) stanno rivoluzionando il modo in cui interagiamo con l’intelligenza artificiale, ma presentano ancora dei limiti quando devono ragionare per risolvere problemi complessi. La ricerca condotta da Meta AI e UC San Diego propone un nuovo paradigma chiamato Coconut (Chain of Continuous Thought) che permette ai modelli di ragionare in uno spazio latente continuo invece che essere vincolati al linguaggio naturale.

Il problema del ragionamento tramite linguaggio

Attualmente, gli LLM utilizzano il linguaggio naturale per esprimere i loro processi di ragionamento attraverso un approccio chiamato “chain-of-thought” (CoT). Questo metodo presenta però alcune limitazioni:

• Molti token servono solo per mantenere la coerenza testuale e non sono essenziali per il ragionamento
• Alcuni token critici richiedono una pianificazione complessa e pongono grandi sfide ai modelli
• Il linguaggio naturale potrebbe non essere ottimale per il ragionamento, come suggerito anche da studi sul cervello umano

“Gli studi di neuroimaging hanno costantemente dimostrato che la rete del linguaggio – un insieme di regioni cerebrali responsabili della comprensione e produzione del linguaggio – rimane in gran parte inattiva durante vari compiti di ragionamento” – citazione dallo studio

Come funziona Coconut

Il nuovo paradigma proposto si basa su una semplice ma efficace modifica al processo tradizionale:

1. Invece di decodificare lo stato nascosto in token linguistici
2. Lo stato viene utilizzato direttamente come embedding di input per il token successivo
3. Il modello può così ragionare in uno spazio continuo senza vincoli linguistici
4. Il sistema può essere ottimizzato end-to-end tramite discesa del gradiente

Risultati sorprendenti

I test hanno dimostrato che Coconut porta a pattern di ragionamento emergenti avanzati:

• Il pensiero continuo può codificare più passaggi di ragionamento alternativi simultaneamente
• Permette al modello di eseguire una ricerca in ampiezza (BFS) per risolvere i problemi
• Supera i metodi tradizionali in compiti di ragionamento logico che richiedono backtracking
• Utilizza meno token durante l’inferenza

Impatto e prospettive future

Questa ricerca apre nuove prospettive per il miglioramento delle capacità di ragionamento dell’IA:

• Dimostra che è possibile liberare gli LLM dai vincoli del linguaggio naturale
• Suggerisce che il ragionamento in uno spazio latente potrebbe essere più efficace
• Apre la strada a nuovi approcci per risolvere problemi complessi

Immagine di copertina generata tramite Flux.

Leggi l’articolo completo su ArXiv: 

Training Large Language Models to Reason in a Continuous Latent Space

Large language models (LLMs) are restricted to reason in the “language space”, where they typically express the reasoning process with a chain-of-thought (CoT) to solve a complex reasoning problem. However, we argue that language space may not always be optimal for reasoning. For example, most word tokens are primarily for textual coherence and not essential for reasoning, while some critical tokens require complex planning and pose huge challenges to LLMs. To explore the potential of LLM reasoning in an unrestricted latent space instead of using natural language, we introduce a new paradigm Coconut (Chain of Continuous Thought). We utilize the last hidden state of the LLM as a representation of the reasoning state (termed “continuous thought”). Rather than decoding this into a word token, we feed it back to the LLM as the subsequent input embedding directly in the continuous space. Experiments show that Coconut can effectively augment the LLM on several reasoning tasks. This novel latent reasoning paradigm leads to emergent advanced reasoning patterns: the continuous thought can encode multiple alternative next reasoning steps, allowing the model to perform a breadth-first search (BFS) to solve the problem, rather than prematurely committing to a single deterministic path like CoT. Coconut outperforms CoT in certain logical reasoning tasks that require substantial backtracking during planning, with fewer thinking tokens during inference. These findings demonstrate the promise of latent reasoning and offer valuable insights for future research.

Lascia questo campo vuoto

Registrati alla newsletter

Controlla la tua mail o la cartella dello spam se non hai ricevuto nulla, e conferma la tua iscrizione.