OpenAI ha sviluppato un modello linguistico sperimentale progettato per essere più comprensibile rispetto agli LLM standard, che rimangono essenzialmente delle scatole nere il cui funzionamento interno sfugge anche ai loro creatori. A riportare la notizia è il MIT Technology Review in un’anteprima esclusiva della ricerca.
Il nuovo modello, chiamato weight-sparse transformer, utilizza una rete neurale in cui ogni neurone è connesso solo ad alcuni neuroni specifici anziché a tutti quelli degli strati adiacenti. Riducendo drasticamente le connessioni, il modello costringe le rappresentazioni a organizzarsi in circuiti locali e interpretabili. I ricercatori sono così riusciti a seguire passo per passo il processo con cui il sistema completa semplici pattern testuali.
La ricerca rientra nel campo dell’interpretabilità meccanicistica, che mira a mappare i meccanismi interni dei modelli. Nei modelli tradizionali i concetti vengono frammentati tra neuroni distribuiti in diverse aree della rete, e singoli neuroni possono rappresentare caratteristiche multiple (fenomeno noto come superposizione, un termine a sua volta mutuato dalla fisica quantistica). Ciò rende impossibile collegare parti specifiche del modello a concetti specifici.
Il modello sperimentale di OpenAI, pur essendo molto più lento e limitato nelle capacità rispetto ai prodotti commerciali attuali, permette ai ricercatori di osservare come vengono elaborati i compiti. Il sistema ha capacità paragonabili a GPT-1 del 2018 e non è destinato a competere sul mercato. OpenAI ritiene però che la tecnica potrebbe essere migliorata fino a costruire un modello trasparente equivalente a GPT-3.
Leggi l’articolo completo: OpenAI’s new LLM exposes the secrets of how AI really works su MIT Technology Review
Immagine generata tramite DALL-E. Tutti i diritti sono riservati. Università di Torino (03/05/2025).
