Un team di ricercatori del MIT, dell’Università di Melbourne e dell’ESSEC Business School ha compiuto un importante passo avanti nella comprensione del funzionamento interno dei Large Language Models (LLM). Lo studio, pubblicato a dicembre 2024, rivela come l’analisi delle probabilità condizionate alla base della generazione del testo possa fornire preziose informazioni sull’affidabilità e il processo decisionale di questi sistemi di IA, con importanti implicazioni per le applicazioni economiche e finanziarie.
Il valore delle probabilità condizionate
I Large Language Models sono spesso considerati delle “scatole nere” – sistemi complessi il cui funzionamento interno rimane oscuro. Tuttavia, questa ricerca dimostra che:
- Le probabilità condizionate (ovvero la distribuzione di probabilità che il modello assegna alle possibili “parole” successive) sono interpretabili e correlate con l’accuratezza delle previsioni
- Queste probabilità sono più affidabili delle metriche di “confidenza dichiarata” usate finora
- Possono essere utilizzate per analizzare i bias del modello e comprendere i meccanismi decisionali interni
Le scoperte chiave della ricerca
1. Correlazione con l’Accuratezza
Analizzando un dataset di 10.000 notizie finanziarie, i ricercatori hanno scoperto che:
- Quando il modello assegna alte probabilità condizionate a una classificazione, è molto più probabile che questa corrisponda alla reazione effettiva del mercato
- Per le previsioni nel decile più alto di confidenza interna, il modello raggiunge un’accuratezza del 72,5%
- Le previsioni con bassa confidenza interna non superano il 50% di accuratezza
2. Limiti della Confidenza Dichiarata
Lo studio evidenzia importanti limitazioni nell’approccio tradizionale di “chiedere” al modello quanto è sicuro delle proprie previsioni:
- La confidenza dichiarata è influenzata dalla strategia di decodifica
- È sensibile alla scelta del modello e del prompt
- Ha una correlazione debole con le probabilità interne effettive
Il processo decisionale dei LLM
La ricerca ha anche rivelato interessanti pattern nel modo in cui i LLM prendono decisioni:
- Bias nei Numeri Casuali
- Il modello mostra preferenze arbitrarie, come favorire il numero “7” quando gli viene chiesto di generare numeri casuali
- Questo riflette pattern presenti nei dati di training piuttosto che una vera comprensione della casualità
- Formazione delle Decisioni
- Analizzando le notizie un frammento alla volta, i ricercatori hanno osservato come il modello costruisce e rivede le proprie classificazioni
- La confidenza interna aumenta con l’aggiunta di più contesto
- Il numero di “ripensamenti” è inversamente correlato alla confidenza finale
Implicazioni pratiche
Questi risultati hanno importanti implicazioni per:
- Ricercatori
- Forniscono una metrica più affidabile per valutare la confidenza del modello
- Permettono di comprendere meglio il processo decisionale interno
- Sviluppatori
- Offrono nuovi strumenti per debuggare e migliorare i modelli
- Aiutano a identificare potenziali bias
- Utenti Finali
- Permettono una migliore valutazione dell’affidabilità delle previsioni
- Forniscono maggiore trasparenza nel processo decisionale
Conclusioni e prospettive future
La ricerca apre nuove strade per rendere i LLM più trasparenti e interpretabili, particolarmente nelle applicazioni economiche e finanziarie. L’utilizzo delle probabilità condizionate come finestra sul funzionamento interno di questi sistemi potrebbe diventare uno standard per valutarne l’affidabilità.
Per approfondire questi temi e scoprire come le probabilità condizionate possono migliorare l’interpretabilità dell’IA nelle vostre applicazioni, non esitate a contattare MagIA.
Immagine di copertina generata tramite Flux.
Leggi l’articolo completo su SSRN:
