Google introduce una rivoluzionaria tecnica che offre ai grandi modelli linguistici un contesto infinito.
Questa tecnica si chiama Infini-attention, amplia la “finestra di contesto” dei modelli consentendo la gestione di testi di lunghezza illimitata, senza aumentare i requisiti di memoria e calcolo. Questo significa che gli LLM possono ora lavorare su input estesi senza compromettere le prestazioni.
L’Infini-attention mantiene il meccanismo di attenzione classico nei transformer, ma aggiunge un modulo di “memoria compressiva” per gestire gli input estesi. Questo permette al modello di memorizzare gli stati di attenzione precedenti in una memoria compressiva, garantendo efficienza computazionale. I ricercatori sottolineano che questa modifica sottile consente una naturale estensione dei LLM esistenti a contesti infiniti.
Leggi l’articolo completo: Google’s new technique gives LLMs infinite context su venturebeat.com.
Immagine generata tramite DALL-E 3.
