Come si forma la decisione clinica quando vi partecipa l’intelligenza artificiale: trasparenza, spiegazione, responsabilità. A proposito di M. Modi et al., «Understanding clinical reasoning variability in medical large language models: a mechanistic interpretability study», pubblicato su npj Digital Medicine.
L’esperimento
I sistemi esaminati appartengono alla famiglia dei grandi modelli linguistici, programmi addestrati su enormi quantità di testi che producono risposte scritte in linguaggio naturale e che oggi vengono proposti anche come supporto alle decisioni mediche. Gli autori ne hanno confrontati tre, GPT-5 Thinking, un sistema commerciale di uso generale, e due modelli sviluppati appositamente per l’ambito biomedico, MedGemma-27B-Text-IT e OpenBioLLM-Llama3-70B. Ricordano che sistemi di questo tipo raggiungono un’accuratezza dell’85-90% nei quesiti degli esami di abilitazione medica, un risultato che misura la capacità di rispondere a domande d’esame e che dice poco su come gli stessi sistemi si comportino davanti alla documentazione di un paziente.
Il materiale della prova comprendeva tre casi oncologici costruiti a tavolino, un tumore dell’uretra e due tumori del polmone non a piccole cellule, redatti da due oncologi nella forma delle note cliniche in uso nella pratica, con la storia del paziente, i risultati dell’esame obiettivo e degli esami, la valutazione e il piano di cura. A ciascun sistema si chiedeva di stabilire lo stadio del tumore, cioè quanto la malattia si è estesa nell’organismo, e di indicare la gestione terapeutica. La stessa richiesta è stata poi ripetuta togliendo ogni volta dal testo un solo termine medico, che poteva essere una parola o una breve espressione, per vedere quali termini fossero davvero in grado di cambiare la risposta, con centinaia di variazioni per ciascun sistema. Si tratta di prove condotte su casi costruiti, che misurano la stabilità delle risposte lasciando aperta la questione dei loro effetti sulle cure di pazienti reali.
L’esempio più eloquente riguarda il caso del tumore dell’uretra, nella cui documentazione compariva il valore della creatinina, un esame del sangue che misura il funzionamento dei reni e che con l’estensione del tumore non ha nulla a che fare. Togliere quel valore, peraltro normale («creatinina 0,80»), ha indotto MedGemma ad abbandonare lo stadio III, che era corretto, per lo stadio II. Togliere invece l’informazione che il tumore aveva invaso la parte anteriore della vagina, che è proprio il dato da cui lo stadio dipende, ha lasciato immutata la risposta di OpenBioLLM, mentre GPT-5 ha modificato la propria in modo appropriato. Gli esempi mostrano che un sistema può pesare le informazioni senza alcun rapporto con la loro importanza clinica, anche se da soli non permettono di stimare con quale frequenza un errore del genere si produrrebbe nella pratica.
Un ragionamento familiare alla medicina legale
Chi lavora in medicina legale riconosce in questo procedimento il giudizio controfattuale, il ragionamento con cui si stabilisce se una condotta abbia causato un evento. Si immagina che la condotta non ci sia stata, oppure, quando si discute di un’omissione, che l’azione mancata sia stata compiuta, e ci si domanda se l’evento si sarebbe verificato ugualmente. Se un medico non ha prescritto un esame, per esempio, ci si chiede che cosa sarebbe accaduto al paziente se l’esame fosse stato eseguito in tempo.
In Italia i criteri di questo giudizio sono stati fissati dalle Sezioni Unite penali della Cassazione con la sentenza Franzese (10 luglio 2002, n. 30328), pronunciata proprio in un caso di responsabilità medica per omissione. La Corte ha stabilito che il nesso causale esiste quando, immaginando compiuta la condotta che il medico aveva il dovere di tenere, l’evento non si sarebbe verificato, oppure si sarebbe verificato in epoca significativamente posteriore o con minore intensità lesiva. Ha aggiunto che per arrivare a questa conclusione non basta una percentuale statistica, poiché occorre verificare la conoscenza scientifica alla luce delle circostanze del singolo caso ed escludere le spiegazioni alternative, fino a raggiungere un «alto grado di credibilità razionale», e che il ragionevole dubbio sul ruolo causale della condotta porta all’assoluzione.
La somiglianza con l’esperimento riguarda il metodo e va tenuta nei suoi confini. Nello studio la cancellazione di un termine serve a misurare quanto sia stabile la risposta di un programma, mentre nel processo il giudizio controfattuale serve ad accertare, con l’aiuto delle leggi scientifiche e degli elementi concreti del caso, il legame fra una condotta e un evento. L’instabilità di una risposta algoritmica non basta quindi a provare che una decisione abbia causato un danno, e ciò che l’esperimento insegna al medico legale riguarda piuttosto le fonti su cui la ricostruzione si fonda.
Quando ricostruisce una vicenda clinica, il perito, cioè l’esperto incaricato dal giudice, cerca nella cartella i dati di cui il medico disponeva e le annotazioni con cui ha motivato le proprie scelte. Lo fa presupponendo che i dati da cui la decisione è dipesa siano anche quelli che il medico saprebbe indicare come ragioni, e lo studio mostra che con i sistemi di intelligenza artificiale questo presupposto non regge. Nei modelli i dati da cui la risposta dipende possono non avere alcun rapporto con le ragioni cliniche, e un esame del sangue normale può spostare lo stadio di un tumore senza che chi legge la risposta, ordinata e scritta nel linguaggio delle linee guida, abbia modo di accorgersene.
Ciò che la risposta non mostra
Per trasparenza intendo anzitutto la possibilità di ricostruire quale sistema è stato impiegato, con quali informazioni e per quale compito, e quindi di conoscere la base su cui una risposta è stata prodotta. Lo studio conferma che questa base non si ricava dalla risposta stessa, in cui lo stadio sbagliato compare con la stessa sicurezza e con lo stesso lessico di quello corretto.
Gli autori ne traggono la conclusione che risultati equivalenti negli esami non implicano un funzionamento equivalente. Una parte dello studio, quella che dà il titolo all’articolo, ha poi cercato di guardare dentro i sistemi con strumenti chiamati autoencoder sparsi, e questa analisi è stata possibile soltanto per i due modelli aperti, i cui meccanismi interni sono accessibili ai ricercatori. Essa ha mostrato che MedGemma e OpenBioLLM organizzano le stesse nozioni mediche in modo diverso l’uno dall’altro, tanto che un correttivo utile per il primo può danneggiare il secondo. GPT-5, che in queste prove ha dato risposte più coerenti pur sbagliando quasi sempre lo stadio in uno dei casi oncologici, è invece un sistema chiuso, di cui si conoscono soltanto le domande poste e le risposte ottenute. Per un sistema di questo genere la trasparenza si riduce a ciò che entra e a ciò che esce, e una buona risposta, per quanto frequente, non basta a certificare il processo che l’ha prodotta.
Il Regolamento europeo sull’intelligenza artificiale prevede che i sistemi considerati ad alto rischio siano accompagnati da istruzioni che indichino il livello di accuratezza da attendersi e le circostanze note o prevedibili che possono ridurlo (Reg. UE 2024/1689, art. 13, par. 3, lett. b, punto ii). Lo studio ne individua almeno due che riguardano da vicino il lavoro quotidiano negli ospedali, le informazioni mancanti nella documentazione e il modo in cui la domanda viene formulata, ed è lecito dubitare che le istruzioni dei prodotti commerciali le descriveranno in termini comprensibili per chi li userà. Non ogni modello linguistico impiegato in sanità rientra fra i sistemi ad alto rischio, poiché la qualificazione dipende dalla destinazione d’uso, e per quelli che vi rientrano come dispositivi medici gli obblighi qui richiamati si applicheranno dal 2 agosto 2028, la data fissata dal Regolamento (UE) 2026/1744, che ha rinviato il calendario originario.
La domanda prima della risposta
Siamo abituati a pensare che il contributo di un sistema cominci quando esso restituisce un risultato, mentre una parte decisiva di quel contributo prende forma prima, nel modo in cui il problema viene posto, e lo studio lo dimostra con un dato che merita di essere spiegato.
Ai sistemi veniva fornita la prima parte della documentazione di una visita, quella in cui il medico raccoglie la storia del paziente, i sintomi, i risultati dell’esame fisico e degli esami. La richiesta poteva poi assumere due forme. Nella prima si chiedeva al sistema di scrivere l’intera parte conclusiva della documentazione, quella in cui il medico riassume il quadro clinico, indica lo stadio della malattia e propone la terapia. Nella seconda gli si chiedeva direttamente quale fosse lo stadio.
Benché i dati clinici fossero identici e cambiasse soltanto il modo di chiedere, nel caso del tumore dell’uretra OpenBioLLM ha indicato lo stadio corretto nel 45,9% delle prove quando lo stadio andava inserito nella relazione completa e nel 99,1% quando gli veniva chiesto direttamente, e MedGemma ha mostrato un’oscillazione analoga, dal 74,8% al 98,2%.
Tradotto nella pratica, lo stesso quadro clinico può ricevere uno stadio diverso secondo il modo in cui il medico di turno ha interrogato il sistema, per esempio chiedendogli di preparare la sintesi da riportare in cartella anziché porgli una domanda precisa. L’esperimento riguarda un solo caso costruito e non dice quante terapie cambierebbero davvero, eppure basta a mostrare che il modo di formulare la domanda diventa parte dell’atto clinico. Se non ne rimane traccia, nessuno potrà capire, in seguito, da dove sia nata la risposta né stabilire se l’errore appartenga al sistema o all’uso che se ne è fatto.
Una spiegazione che non spiega
Per comprendere l’esperimento successivo occorre sapere come si stabilisce lo stadio di un tumore. I medici usano un sistema internazionale chiamato TNM, aggiornato periodicamente dall’American Joint Committee on Cancer (AJCC) e dall’Union for International Cancer Control (UICC), che descrive la malattia attraverso tre lettere. La T indica le dimensioni e l’estensione del tumore di partenza, la N il coinvolgimento dei linfonodi vicini, la M la presenza di metastasi in altri organi. Ogni lettera è seguita da un numero, talvolta accompagnato da un’ulteriore suddivisione, che ne indica la gravità, e la combinazione delle tre, secondo tabelle stabilite per ciascun organo, porta a uno stadio compreso tra 0 e IV, dal quale dipendono in larga parte la prognosi e la scelta della terapia.
Gli autori hanno chiesto ai sistemi di ragionare per passaggi, scrivendo prima le tre categorie, ricavando poi lo stadio e indicando infine la terapia. Ci si potrebbe attendere che un ragionamento esposto passo dopo passo renda le risposte più affidabili, e per due dei tre sistemi l’attesa è andata delusa. Confrontando le categorie che ciascun sistema aveva scritto con lo stadio che ne aveva ricavato, gli autori hanno scoperto che MedGemma e OpenBioLLM applicavano correttamente le regole della classificazione in meno di un caso su tre (26,8% e 31,0%), mentre GPT-5 lo faceva nel 97,5% dei casi. Per esempio, in un caso di tumore del polmone, MedGemma scrive le tre categorie «T4N3M1b» e ne deduce uno stadio IVB, sebbene la nona edizione delle regole AJCC, quella usata dagli autori, riservi lo stadio IVB a chi ha più metastasi fuori dal torace e assegni a quella combinazione lo stadio IVA. La conclusione, in altre parole, non discende dalle premesse che il sistema stesso ha appena scritto.
Chi ha familiarità con il diritto riconoscerà in questo scarto qualcosa di simile alla motivazione apparente, quella che ha l’aspetto di un ragionamento senza rendere conto del percorso che ha davvero condotto alla decisione, e che la giurisprudenza riconduce alla mancanza di motivazione (Cass. civ., Sez. Un., 7 aprile 2014, n. 8053). La categoria nasce per le sentenze e qui la uso come analogia, utile a dare un nome a un rischio concreto, poiché una spiegazione di questo genere, copiata in cartella o usata per illustrare al paziente una scelta terapeutica, darebbe alla decisione un fondamento che essa non possiede. La spiegabilità di cui la cura ha bisogno riguarda piuttosto le ragioni cliniche per le quali il medico ha accolto, corretto o respinto la risposta della macchina, ragioni che soltanto lui può fornire dopo averle confrontate con i dati e con la storia del paziente.
Come si forma oggi la decisione clinica
Lo studio rende visibile una trasformazione che osservo da tempo nella pratica e che ho cercato di descrivere in altri lavori. Per molto tempo la decisione clinica è nata dall’incontro tra il sapere del medico e la parola del paziente. Quando interviene un sistema di intelligenza artificiale, essa prende forma lungo un percorso più lungo, che comincia con la progettazione e la verifica del sistema da parte di chi lo produce, prosegue con l’organizzazione sanitaria che lo sceglie, lo configura e ne regola l’uso, comprende la domanda con cui il medico lo interroga e la risposta che ne riceve, e arriva infine alla valutazione del medico e alla scelta condivisa con la persona malata. Ciascuno di questi passaggi può introdurre un errore, e lo studio mostra che alcuni errori nascono in punti del percorso che né il medico né il paziente vedono.
Il Regolamento europeo prevede che i sistemi ad alto rischio siano sottoposti a sorveglianza umana (art. 14), e la legge italiana n. 132 del 2025 stabilisce che in sanità l’intelligenza artificiale resti un supporto e che la decisione spetti al medico (art. 7, comma 5). Queste previsioni hanno un contenuto reale se la sorveglianza viene intesa come un vero atto clinico, che consiste nel riconoscere un risultato poco plausibile, nel confrontarlo con le conoscenze disponibili e nel valutare se sia adatto a quella persona. Il Regolamento prevede anche che chi sorveglia il sistema sia messo in condizione di restare consapevole della tendenza a fidarsi automaticamente delle sue risposte, chiamata distorsione dell’automazione (art. 14, par. 4, lett. b). È una tendenza ben documentata, che a mio giudizio si accentua quando l’organizzazione del lavoro rende più faticoso motivare un dissenso che accettare la proposta della macchina. In una situazione simile la decisione conserva un autore umano soltanto sul piano formale, e la firma del medico in calce al documento non dimostra che il controllo vi sia stato.
Il paziente resta al centro di questo percorso, e il rischio che più mi preoccupa è quello che altrove ho chiamato neo-paternalismo algoritmico (Immacolato, 2026), cioè la tendenza a presentare l’indicazione della macchina come un dato oggettivo che la persona può soltanto accettare. Il paternalismo medico tradizionale lasciava al medico il potere di decidere per il paziente, e la legge n. 219 del 2017 lo ha superato fondando la cura sulla relazione tra medico e paziente e sul consenso informato. In questa relazione il sistema può ampliare le informazioni disponibili senza diventare l’autore dei fini della cura, che appartengono alla persona. Una risposta che appare certa quando non lo è, come accade negli esempi dello studio, toglie al paziente proprio l’incertezza che avrebbe il diritto di conoscere e di valutare.
Responsabilità e documentazione
Quando una decisione si forma lungo un percorso al quale partecipano più soggetti, anche le responsabilità vanno cercate in punti diversi. Le caratteristiche e la sicurezza del sistema chiamano in causa chi lo produce, la scelta di adottarlo, la sua sorveglianza nel tempo e le condizioni d’uso chiamano in causa la struttura sanitaria, l’interpretazione del risultato nel caso concreto chiama in causa il medico, e spetta al diritto, secondo le norme applicabili e i fatti accertati, stabilire a chi un eventuale danno sia imputabile. Nessuna di queste attribuzioni si può fissare prima di conoscere l’evento, e ciascuna resta una formula vuota se non è possibile ricostruire, a distanza di tempo, che cosa sia accaduto in ciascun passaggio.
Per decenni la cartella clinica ha registrato l’esito della decisione e ha lasciato implicito il ragionamento che l’aveva prodotta, affidandolo alla memoria di chi aveva deciso. Quando un sistema di intelligenza artificiale contribuisce alla decisione, la memoria del medico non basta più, e nella cartella occorre rendere esplicito il ragionamento che conduce alla scelta, indicando in quale momento e in quale modo il sistema è intervenuto e come il suo contributo è stato valutato. Lo studio aiuta a precisare che cosa questa registrazione comprenda, ossia il nome e la versione del sistema, i dati che gli sono stati forniti, il testo della domanda, la risposta ottenuta e la valutazione del medico, con le ragioni per cui l’indicazione è stata accolta, modificata o respinta. Nessuna delle norme che ho richiamato impone oggi una registrazione di questo genere, e la propongo come regola di buona pratica, da commisurare al peso che il sistema ha avuto nella decisione e da armonizzare con la tutela della riservatezza e con le regole di conservazione della documentazione sanitaria. Senza questi elementi il giudizio controfattuale diventa impossibile, e con esso ogni accertamento serio delle responsabilità.
Il Regolamento europeo impone ai sistemi ad alto rischio di registrare automaticamente i propri eventi, in registri informatici chiamati log, per rendere tracciabile il loro funzionamento (art. 12, parr. 1 e 2), e stabilisce che questi registri siano conservati dal fornitore e dalla struttura che usa il sistema, ciascuno per la parte che ha sotto il proprio controllo, per almeno sei mesi, salvo diverse disposizioni del diritto dell’Unione o nazionale (artt. 19 e 26, par. 6). Si tratta però di registri pensati per il controllo tecnico, che documentano ciò che la macchina ha fatto senza dire nulla delle ragioni del medico. La loro durata minima appare inoltre modesta se confrontata con i tempi della giustizia, dato che le consulenze tecniche e le perizie arrivano spesso anni dopo i fatti, quando la versione del sistema impiegato può essere stata aggiornata o ritirata dal mercato. Un’annotazione fatta al momento e conservata in cartella, con il nome e la versione del sistema, è ciò che permetterà di sapere quale programma abbia contribuito a una decisione quando questa verrà esaminata.
Gli errori che non si vedono
Gli errori descritti nello studio hanno in comune una caratteristica che li rende insidiosi, poiché nessuno di essi è riconoscibile leggendo una singola risposta. In uno dei casi oncologici le informazioni non bastavano a stabilire lo stadio con certezza. MedGemma ha indicato uno stadio definitivo in tutte le risposte alla domanda diretta e, quando ragionava passo dopo passo, ha proposto una gestione definitiva nel 98% dei casi, mentre GPT-5, nelle stesse condizioni, ha chiesto in tutte le risposte di completare gli esami. La legge n. 219 del 2017 riconosce a ogni persona il diritto di essere informata in modo completo, aggiornato e comprensibile sulla diagnosi, sulla prognosi, sui benefici e sui rischi degli esami e delle cure (art. 1, comma 3), e uno stadio presentato come certo quando i dati non permettono di stabilirlo rende inesatta proprio quell’informazione.
Il fatto, già ricordato, che un correttivo utile a un modello possa danneggiarne un altro suggerisce una cautela ulteriore. Ogni intervento sul funzionamento di questi sistemi richiede una validazione specifica per quel sistema, e una valutazione che dia lo stesso peso a ogni risposta rischia di nascondere i peggioramenti dentro un miglioramento medio, laddove in medicina gli errori non si compensano tra loro e un’avvertenza di sicurezza perduta pesa più di molte risposte corrette.
Soltanto una registrazione completa permette di stabilire se un errore sia nato dai dati mancanti, dal modo di porre la domanda, dalla versione del sistema o dalla valutazione del medico, e quindi di attribuire a ciascuno la parte che gli spetta. La tracciabilità rende possibile la spiegazione, e la spiegazione rende possibile la contestazione, che per il paziente coincide con il diritto di chiedere perché una decisione sia stata presa in quel modo, in quel momento e sulla base di quei dati.
Conclusione
La legge n. 132 del 2025 riconosce all’interessato il diritto di essere informato sull’impiego di tecnologie di intelligenza artificiale e stabilisce che queste svolgono una funzione di supporto, lasciando la decisione al medico (art. 7, commi 3 e 5). Lo studio di Modi e colleghi mostra quanto questa riserva sia esigente, giacché un medico che non sa su quale base la macchina abbia risposto, che riceve una spiegazione non corrispondente al processo reale e che non lascia traccia dell’uso fatto della risposta finisce per decidere soltanto nella forma. Trasparenza, spiegazione e registrazione diventano così le condizioni di una responsabilità leggibile per il medico che la esercita, per il paziente che ne subisce le conseguenze e per chi un giorno sarà chiamato a giudicarla.
Gli autori riconoscono con onestà i limiti del loro lavoro. L’analisi interna ha riguardato soltanto due modelli, per le grandi risorse di calcolo che richiede, i casi oncologici sono costruiti e offrono un’approssimazione semplificata dell’uso clinico reale, e le note cliniche impiegate per l’analisi interna provengono da un solo ospedale americano e da reparti di terapia intensiva. Aggiungo che lo studio, per come è costruito, non misura effetti sulla salute dei pazienti. Questi limiti non attenuano la lezione di metodo che lo studio offre a chi si occupa di responsabilità sanitaria, una lezione che riguarda medici, giuristi, filosofi e psicologi insieme. Chi, nelle nostre aziende sanitarie, si sta occupando di conservare abbastanza della storia di ogni decisione assistita da questi sistemi da poter rispondere, un giorno, alla domanda del medico legale su quali dati abbiano davvero deciso?
Riferimenti
Modi M. et al., Understanding clinical reasoning variability in medical large language models: a mechanistic interpretability study, npj Digital Medicine, 2026, doi:10.1038/s41746-026-03423-6.
Cass. pen., Sez. Un., 10 luglio 2002 (dep. 11 settembre 2002), n. 30328 (Franzese).
Cass. civ., Sez. Un., 7 aprile 2014, n. 8053.
Immacolato M., Il neo-paternalismo algoritmico e la revisione del Codice deontologico medico, MagIA, 14 giugno 2026, https://magia.news/il-neo-paternalismo-algoritmico-e-la-revisione-del-codice-deontologico-medico/.
Legge 22 dicembre 2017, n. 219, Norme in materia di consenso informato e di disposizioni anticipate di trattamento, art. 1, comma 3.
Legge 23 settembre 2025, n. 132, Disposizioni e deleghe al Governo in materia di intelligenza artificiale (GU n. 223 del 25 settembre 2025), art. 7, commi 3 e 5.
Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio (Regolamento sull’intelligenza artificiale), artt. 12, 13, 14, 19 e 26.
Regolamento (UE) 2026/1744, che modifica il Regolamento (UE) 2024/1689 (cosiddetto Digital Omnibus sull’intelligenza artificiale).
Immagini generate tramite ChatGPT. Tutti i diritti sono riservati. Università di Torino (2026).
