Lo stesso strumento, la stessa spiegazione, due utenti diversi: per uno è un aiuto, per l’altro una trappola. Questo è il risultato più evidente di uno studio pubblicato su Nature Medicine da ricercatori del MIT, della Columbia University e di Stanford, che hanno testato sistemi di intelligenza artificiale per la diagnosi di malattie della pelle su due gruppi molto diversi: medici di base e persone senza formazione clinica.
L’assistenza dell’IA ha migliorato l’accuratezza di entrambi. Ma per i non esperti, tale miglioramento è derivato in gran parte da un meccanismo tutt’altro che rassicurante: la deferenza. Hanno seguito il modello anche quando era errato.
Come è stato costruito il test
Il punto di partenza è una situazione reale. Da un lato, esistono interfacce approvate dalla FDA che aiutano i medici a identificare le patologie cutanee nelle immagini cliniche. Dall’altro, chiunque può ora fotografare un neo e inviarlo a un motore di ricerca basato sull’intelligenza artificiale, ricevendo una previsione accompagnata da una spiegazione in linguaggio semplice.
I ricercatori hanno confrontato quattro modalità di presentazione dei risultati: la sola previsione, con il livello di confidenza, senza alcuna spiegazione; una serie di immagini simili a supporto della previsione; una mappa di calore che evidenzia le regioni più rilevanti dell’immagine; e una spiegazione testuale generata da un modello linguistico.
I compiti sono stati calibrati in base alle competenze dei partecipanti. Ai non esperti è stato chiesto di determinare se l’immagine di un neo fosse cancerosa o meno. I medici si sono trovati di fronte a un compito più impegnativo: formulare una diagnosi differenziale.
Cosa è successo ai principianti
Tutti i metodi di spiegazione hanno migliorato l’accuratezza dei non esperti, soprattutto aiutandoli a riconoscere i nei benigni. Tuttavia, l’analisi dei ricercatori mostra che il vantaggio dipendeva dalla fiducia riposta nel modello: quando il sistema era errato, il danno superava il beneficio ottenuto quando era corretto.
L’effetto era più marcato con le spiegazioni generate dal modello linguistico. E c’è un dettaglio che dovrebbe far riflettere chiunque progetti queste interfacce: i non esperti hanno riferito di essere più sicuri delle proprie risposte errate quando assistiti da un modello linguistico e hanno trovato le spiegazioni vaghe o generiche più convincenti di quelle dettagliate.
In breve, una spiegazione fluida non trasmette informazioni: trasmette autorevolezza. Chi non possiede gli strumenti per valutarne il contenuto ne valuta il tono.
Cosa è successo ai medici
La situazione si ribalta. I medici si sono dimostrati restii a ricevere indicazioni errate: avendo già in mente una diagnosi, hanno utilizzato i suggerimenti dell’IA come verifica della loro formazione, e le spiegazioni errate sono state intercettate.
Tra tutte le modalità, quella basata sul modello linguistico si è rivelata la meno utile. Hanno ottenuto i risultati migliori ricevendo solo la previsione del modello, senza alcuna spiegazione.
L’autore principale, Orson Xu, professore di informatica biomedica alla Columbia, riassume il fenomeno osservando che lo stesso strumento finisce per essere “una risorsa per un utente e un rischio per un altro”. Il medico controlla l’IA; il principiante, di fronte alla stessa schermata, si forma un’opinione basandosi su di essa.
Tre dettagli che rendono il risultato più inquietante
Il primo punto riguarda il momento in cui viene fornita la spiegazione. Se l’utente la riceve prima di formulare la propria ipotesi, la sua deferenza aumenta. L’effetto ancoraggio si verifica quando è il modello a parlare per primo.
Il terzo punto riguarda il momento in cui viene fornita la spiegazione. Se l’utente la riceve prima di formulare la propria ipotesi, la deferenza aumenta. L’effetto ancoraggio si verifica quando è il modello a parlare per primo.
Il terzo punto riguarda le prestazioni dell’IA: l’IA ha superato gli esseri umani quando la manifestazione della malattia era lieve, mentre gli esseri umani hanno ottenuto risultati significativamente migliori in presenza di sintomi atipici o elementi estranei nell’immagine. Le due competenze non si sovrappongono, il che è una buona notizia, a patto che l’interazione sia progettata per sfruttare questa caratteristica.
Infine, c’è un risultato positivo che merita di essere evidenziato: l’utilizzo di un modello addestrato con vincoli di equità, progettato per affrontare la minore accuratezza sui toni di pelle più scuri, ha migliorato significativamente le prestazioni e ridotto le discrepanze diagnostiche legate al fototipo.
Una proposta concreta
L’indicazione operativa che emerge dallo studio è controintuitiva rispetto alla direzione presa dal settore. Invece di usare i modelli linguistici per generare spiegazioni sempre più ricche, potrebbe essere più efficace obbligare l’utente a formulare per primo un’ipotesi diagnostica, e solo dopo mostrargli il suggerimento dell’IA come elenco di altre condizioni da considerare.
L’obiettivo, spiegano i ricercatori, è che il sistema stimoli il pensiero critico invece di sostituirlo, colmando le lacune dell’utente sulle presentazioni sfumate senza innescare il bias di automazione.
Perché la cosa ci riguarda
In Italia, il melanoma è un tumore in aumento e l’autoesame dei nei è una pratica raccomandata, spesso accompagnata da campagne di screening estive. Nel frattempo, un numero crescente di persone fotografa una macchia sospetta e la invia a un chatbot prima ancora di prenotare una visita.
Lo studio rivela qualcosa di specifico su questa pratica. Non che sia inutile – l’accuratezza dei non esperti è addirittura migliorata – ma che il rischio risiede proprio dove si cela: nei casi in cui il modello è errato e la risposta è ben formulata, sicura di sé e priva di dettagli verificabili.
Rimangono i limiti tipici di un esperimento controllato: i partecipanti clinici erano medici di medicina generale, non dermatologi, i compiti erano standardizzati e la situazione non riproduce la complessità di una visita reale. Ma l’implicazione di fondo è difficile da eludere. La qualità di un sistema di intelligenza artificiale non si misura solo dalla frequenza con cui indovina. Si misura anche da chi lo utilizza.
