Google AI Research ha presentato “Titans”, una nuova architettura di apprendimento automatico progettata per superare le limitazioni dei modelli basati su quella Transformer.
La novità è che i sistemi Titans integrano un modulo di memoria neurale a lungo termine, che combina memoria a breve e lungo termine per migliorare l’efficienza computazionale e la gestione di contesti estesi, elaborando sequenze superiori ai 2 milioni di token. L’architettura si basa su tre varianti (MAC, MAG e MAL), caratterizzate da un design modulare che include attenzione limitata, memoria neurale e archiviazione persistente.
Risultati sperimentali mostrano prestazioni superiori rispetto ad altri modelli ibridi nei compiti di elaborazione di sequenze lunghe e complessi. Questo progresso segna un passo avanti nella modellazione delle sequenze, con potenziali applicazioni in linguaggio, video e serie temporali, superando i tradizionali limiti computazionali dei Transformer.
Leggi l’articolo completo: Google AI Research Introduces Titans: A New Machine Learning Architecture with Attention and a Meta in-Context Memory that Learns How to Memorize at Test Time su marktechpost.com.
Immagine generata tramite DALL-E 3.
