I ricercatori del MIT-IBM Watson AI Lab hanno sviluppato un nuovo metodo per migliorare le capacità dei modelli linguistici di grandi dimensioni (LLM) nella comprensione di testi lunghi e complessi. Infatti i modelli attuali, pur essendo molto potenti, faticano a seguire i cambiamenti di stato nei testi, come il modo in cui un oggetto o un personaggio evolve nel tempo, o a gestire istruzioni condizionali in codice o testi strutturati.
Fino ad oggi, la codifica della posizione più usata, chiamata RoPE, attribuisce a ciascuna parola una posizione fissa nella sequenza, senza considerare il contesto. PaTH Attention, il nuovo metodo del MIT-IBM, rende invece le informazioni posizionali adattive e sensibili al contenuto: ogni parola influisce su come il modello interpreta le parole successive, permettendo di tracciare meglio entità e relazioni nel tempo. In pratica, il modello sviluppa una sorta di “memoria posizionale” che migliora il ragionamento sequenziale e la comprensione di contesti complessi.
Il sistema è stato testato su compiti di ragionamento, recupero di informazioni e comprensione di testi molto lunghi, superando le tecniche precedenti in precisione e stabilità. Una versione avanzata, PaTH-FoX, integra anche la capacità di “dimenticare” informazioni meno rilevanti, avvicinando il funzionamento del modello a quello della mente umana.
L’articolo che presenta questa ricerca è stato recentemente presentato alla conferenza NeurIPS 2025.
Leggi l’articolo completo: A new way to increase the capabilities of large language models su news.mit.edu
Immagine generata tramite DALL-E 3. Tutti i diritti sono riservati. Università di Torino (26/02/2025).
