Brutta notizia: nell’era delle reti neurali la “chiara” vecchia Explainability è ormai un ricordo del passato e anche la Transparency ha avuto giornate migliori.
Definiamo innanzitutto cosa si intende con questi due termini. Infatti essi, pur essendo in buona parte sovrapponibili, hanno delle accezioni e riferimenti leggermente diversi.
Con Trasparenza ci si riferisce alla chiarezza e comprensione dell’intero processo e delle logiche che accompagnano il modello di AI, dalla creazione alla consegna dell’output.
Con Spiegabilità intendiamo la capacità di spiegare la cause che hanno determinato un certo output da parte del modello – nel senso di comprendere che cosa è “semanticamente” responsabile dell’output.
Andiamo a vedere più nel dettaglio che cosa vogliono dire queste due definizioni.
- Partiamo dalla Trasparenza
I punti fondamentali nella creazione di un modello di AI possono essere ridotti a tre.
Dataset – La trasparenza come abbiamo detto riguarda l’intero processo e le sue logiche. Il primo punto per ottenere un modello trasparente è avere accesso ai dati con i quali è stato addestrato. I risultati del modello dipendono pesantemente dai dati utilizzati nell’addestramento.
Nel nostro caso i dati sono importanti perché ne ritroviamo traccia sui risultati. Modelli di AI Generativa, per esempio, producono immagini stereotipate. I modelli non sbagliano, semplicemente generano dati in base a quello che hanno visto durante l’addestramento. Conoscere i dati con i quali vengono addestrati, avere trasparenza su questo, è utile per comprendere meglio gli output. Oggi nella maggior parte dei modelli mainstream di AI Generativa – ChatGPT, Gemini, Claude 3 – noi non sappiamo che dataset sono stati utilizzati per fare l’addestramento. Possiamo immaginarlo, ma ufficialmente non lo sappiamo (vedi il caso legale intentato dal NYT contro OpenAI). Anche vari modelli OpenSource come LLama3 non forniscono informazioni sul dataset utilizzato.
Architettura – Conoscere l’architettura è fondamentale per comprendere come l’algoritmo funziona e quali sono le sue logiche. Conoscere il tipo di rete utilizzata, il numero di parametri utilizzati, il tipo di funzioni di attivazione, il numero di layer utilizzati, eventuali altre logiche euristiche, sono tutte info necessarie per avere trasparenza sul flusso che il dato compie durante l’inferenza, ovvero quando fornisce un output. Anche in questo caso abbiamo solo una conoscenza parziale dei maggiori modelli in commercio.
Test e Monitoring – Ai fini della trasparenza è bene avere informazioni sui test, benchmark e metriche effettuati prima della pubblicazione del modello e un report di monitoring continuo una volta operante nel mondo.
Riepilogando possiamo dire che un modello di AI è trasparente quando
- fornisce i dati su cui è stato addestrato
- fornisce una dettagliata descrizione degli elementi del sistema
- fornisce elementi di test e monitoring
- Vediamo ora la spiegabilità (explainability)
Con spiegabilità poniamo maggiormente l’accento su che cosa è “semanticamente” responsabile dell’output. Abbiamo una completa spiegabilità quando possiamo seguire una logica a ritroso che ci permette di stabilire chiaramente la causa simbolica che ha determinato quell’output. Due esempi per chiarire questo punto.
Caso 1)
Siamo nel 1998. Franco Rossi va dal dottore perché, avendo febbre e tosse, crede di avere la polmonite. Il dottore si affida a strumenti tecnologici e, dopo aver fatto la visita, immette i dati del paziente nel software a disposizione.
Esito della visita decretato dal software: negativo. Niente polmonite.
Domanda: perché quest’output? Che cosa, qual è stata la “variabile” (feature) responsabile di quell’output?
Nel 1998 il dottore utilizzava un programma scritto con delle regole. In questo software c’è una regola che dice “se la febbre è maggiore di x, ha colpi di tosse almeno y volte al minuto, e respiro corto (valore spirometria inferiore a z)” allora ha la polmonite.
Nel nostro caso immaginario poniamo che Franco Rossi abbia il valore della spirometria superiore a z. Quindi la regola non scatta per questo preciso motivo (valore superiore a z).
Questo è un caso di completa spiegabilità. Sappiamo chiaramente perché il software ci ha restituito l’output negativo e cosa è simbolicamente responsabile di questo fatto. Il sig. Franco non ha la polmonite perché il valore della spirometria è superiore a z.
Caso 2)
Siamo nel 2024. Franco Rossi va dal dottore perché, avendo febbre e tosse, crede di avere la polmonite. Il dottore si affida a nuovi strumenti tecnologici e, dopo aver fatto la visita, immette i dati del paziente nel software a disposizione.
Esito della visita decretato dal software: negativo. Niente polmonite.
Domanda: perché quest’output? Che cosa, qual è stata la “variabile” (feature) responsabile di quell’output?
Nel 2024 il dottore ha a disposizione un modello che utilizza una rete neurale e in questo caso non abbiamo regole e non possiamo adoperare la stessa logica “a ritroso” che potevamo utilizzare prima. Quello che possiamo fare però, essendo il modello stato addestrato su queste tre variabili, fare delle analisi per capire quanto esse hanno avuto un “impatto” sull’output finale.
Questa ipotetica indagine ci porterebbe dei risultati che evidenziano una più bassa attivazione dei nodi relativi alla variabile respiro corto e quindi ci può far considerare questa variabile come responsabile del risultato.
Ed è proprio così, noi possiamo interpretare questi più bassi livelli di attivazione relativi a tale feature come il motivo per il quale l’output del modello è stato ‘negativo, niente polmonite’.
Perché allora abbiamo un problema di explainability? In fin dei conti anche nel caso 2 riusciamo a interpretare quale variabile è maggiormente responsabile dell’output!
Per questo motivo:
- I modelli che vengono utilizzati oggi hanno moltissime feature. Per esempio il tokenizzatore di OpenAI ha 50.257 token (il token è una parola o parte di essa);
- Questi dati diventano vettori, ovvero una serie numerica che ha un valore semantico (solo) all’interno della rete;
- Questi vettori attraversano la rete neurale che ha un’architettura profondissima. Parliamo di decide e decine di layer con centinaia e centinaia di nodi ognuno. E ognuno ha una funzione di attivazione prima di arrivare agli strati densi finali.
In soldoni questo vuol dire che, quel dato, quella parola (o pezzo di parola) viene trasformata in un vettore, deve passare una serie lunghissima di trasformazioni.
Il vettore iniziale, che intratteneva ancora una relazione col mondo, perde ogni contatto con esso. Durante il tragitto diventa solo una successione numerica che ha un valore semantico all’interno di quello spazio vettoriale rappresentato dalla rete neurale, ma per noi osservatori è solo un numero nella rete. Per questo si dice che le reti neurali sono “black box”.
Ci sono oggi vari tentativi per fronteggiare questa situazione e passi in avanti in tal senso sono stati fatti. Inoltre, va da sé, che modelli più piccoli e snelli sono meno oscuri e se prendessimo poi algoritmi di Machine Learning più semplici come Random Forest, allora abbiamo possibilità di interpretare i risultati in maniera più consistente. Tuttavia, oggi la stragrande maggioranza di modelli di AI coi quali abbiamo a che fare ha strutture complesse che perdono la chiarezza e quel tipo di explainability che ci ha accompagnato nei decenni passati.
Forse sarebbe più corretto parlare di interpretability piuttosto che explainability per rapportarci allo scenario attuale.
- Let’s talk about business
Lato business, che vuol dire tutto questo?
Sono due gli aspetti da prendere in considerazione: applicativo e normativo.
Dal punto di vista applicativo, dobbiamo accettare che non sia possibile ottenere una spiegazione chiara e trasparente del motivo per cui l’algoritmo produce determinati output. Dobbiamo entrare in una nuova ottica per quanto concerne il nesso causa effetto poiché, a seconda del tipo e complessità di modello utilizzato, è possibile comprendere solo parzialmente cosa è responsabile dell’output.
Come conseguenza è fondamentale capire in che ambito stiamo adoperando e pesare la gravità (costo) dell’errore. Un modello che fa previsioni per consigliarti l’abito migliore da indossare a una cena o un modello che deve aiutare un medico a scegliere quale terapia adottare per il paziente, hanno costi diversi in caso di errore. Dove e quando (e se) possiamo permettercelo?
In aggiunta al già noto GDPR, sul fronte normativo, siamo entrati nell’era dello EU AI ACT. Tutti i sistemi classificati come ad alto rischio devono fornire report dettagliati sul modello di IA utilizzato, rispondendo così ai criteri di trasparenza richiesti. Ad esempio, è richiesta una descrizione approfondita degli elementi del sistema, comprendente lo sviluppo, il monitoraggio, le funzionalità del modello e le modifiche che ha subito nel tempo.
Conclusioni
In questa nuova era è possibile pretendere che le logiche di processo del modello AI utilizzato siano le più trasparenti possibili. Tuttavia, per quanto concerne la spiegabilità dell’output bisogna scendere a patti con questa nuova prospettiva dove la responsabilità “semantica”, quella che ci dice “questo output è stato causato da questi simboli”, è in larga parte persa per lasciare spazio a un processo dinamico di interpretazione delle cause.
