Un team di ricercatori del MIT e dell’Università della California del Sud ha fatto una scoperta significativa sul funzionamento interno dei modelli di intelligenza artificiale: questi sistemi, indipendentemente dalla lingua o dal tipo di input che stanno elaborando, tendono a “pensare” in inglese.
L’ipotesi del centro semantico dei modelli linguistici
Lo studio introduce l'”ipotesi del centro semantico” (semantic hub hypothesis), secondo cui i modelli linguistici sviluppano uno spazio di rappresentazione condiviso per elaborare input di diversa natura, che si tratti di testo in varie lingue, codice di programmazione, espressioni matematiche o contenuti multimediali.
“È come se l’inglese fungesse da lingua franca universale nel ‘cervello’ di questi sistemi”, spiega Zhaofeng Wu, ricercatore principale dello studio. “Quando un modello come Llama-3 elabora un testo in cinese, internamente converte i concetti in rappresentazioni semantiche più vicine all’inglese, prima di produrre una risposta nella lingua originale.”
I ricercatori hanno condotto una serie di esperimenti rigorosi, analizzando il comportamento di diversi modelli linguistici come Llama-2, Llama-3 e altri. Hanno scoperto che questo “centro semantico” non è semplicemente un sottoprodotto dell’addestramento, ma viene attivamente utilizzato dal modello durante l’elaborazione degli input.
Particolarmente interessante è stata la dimostrazione che è possibile “intervenire” su questo spazio di rappresentazione condiviso: modificando le rappresentazioni interne in inglese, i ricercatori sono riusciti a influenzare prevedibilmente l’output del modello in altre lingue o modalità.
Le implicazioni
Questa scoperta ha importanti implicazioni sia teoriche che pratiche. Da un lato, fornisce preziose intuizioni su come i modelli di AI elaborano informazioni di diversa natura. Dall’altro, potrebbe aprire nuove strade per controllare e interpretare meglio questi sistemi.
Lo studio fa anche un parallelo intrigante con il cervello umano, dove si ritiene esista un “centro semantico” simile nell’area temporale anteriore che integra informazioni da diverse regioni specializzate.
Tuttavia, i ricercatori mettono in guardia da possibili svantaggi di questa architettura: la dipendenza dall’inglese potrebbe portare a bias linguistici e culturali, influenzando potenzialmente il modo in cui i modelli elaborano concetti in altre lingue e culture.
Immagine in copertina generata tramite Flux.
Leggi l’articolo completo su ArXiv:
