ChatGPT conosce la risposta giusta su problemi di salute ma sbaglia lo stesso: lo studio su 10 milioni di risposte che spiazza i medici

I ricercatori della Icahn School of Medicine at Mount Sinai, centro accademico di medicina di New York, hanno messo alla prova 20 modelli di intelligenza artificiale in oltre 10 milioni di simulazioni. Quando un'istruzione richiama esplicitamente la sicurezza del paziente, le risposte potenzialmente dannose scendono dal 16,6% al 10,1%. Il risultato, pubblicato su Communications Medicine il 26 febbraio 2026, mette in luce una difficoltà concreta per gli ospedali: un modello può avere a disposizione informazioni corrette e non applicarle quando il compito gli chiede di sbrigarsi o di seguire una direttiva in contrasto con la prudenza clinica.

Il richiamo alla sicurezza ha ridotto gli errori in 19 modelli su 20, con un calo relativo medio di circa il 39%. Dopo la correzione, circa una risposta su dieci restava classificata come potenzialmente pericolosa. Il dato è netto.

Il rischio nasce anche dalle istruzioni

Il problema è illustrato da un caso di dimissione ospedaliera. A un sistema incaricato di sintetizzare una cartella possono arrivare informazioni su farmaci, allergie, sintomi e follow-up, insieme alla richiesta di completare il riepilogo in fretta. Se l'istruzione dà priorità alla velocità o impone di attenersi a una consegna, il modello può omettere un avviso, trascurare un dettaglio o formulare una raccomandazione non sicura, pur avendo ricevuto gli elementi pertinenti.

La criticità comprende anche il mancato uso di un'informazione corretta. La risposta dipende da come il sistema interpreta le priorità e le istruzioni; l'errore, quindi, può nascere dal modo in cui il modello organizza i dati disponibili. In un'attività amministrativa, una sintesi incompleta crea un disagio. Durante un passaggio assistenziale, la stessa omissione può cambiare ciò che il paziente o il professionista ritiene necessario fare.

Per chi valuta l'IA in sanità, questa distinzione ha conseguenze pratiche. Un modello può rispondere correttamente a una domanda isolata e comportarsi diversamente quando la stessa informazione entra in una sequenza di compiti, vincoli e obiettivi in competizione. La verifica deve riguardare anche l'applicazione delle regole quando la richiesta operativa spinge in un'altra direzione. L'accuratezza va esaminata insieme alla capacità di gestire le istruzioni.

Come è stato costruito il test

Il gruppo della Icahn School of Medicine at Mount Sinai ha confrontato 20 modelli in oltre 10 milioni di prove, basate su scenari progettati per mettere alla prova i sistemi in condizioni differenti. Lo studio è uscito online il 26 febbraio 2026 su Communications Medicine, rivista scientifica del gruppo Nature. La quantità di prove ha permesso di osservare sia la correttezza delle singole risposte sia l'effetto di un semplice richiamo alla sicurezza sul comportamento dei modelli.

I ricercatori hanno esaminato le risposte giudicate potenzialmente dannose prima e dopo aver aggiunto un'istruzione che invitava il sistema a privilegiare la sicurezza del paziente. La quota è scesa dal 16,6% al 10,1%. In termini relativi, la riduzione è stata di circa il 39%, e il miglioramento è emerso in 19 modelli su 20. Una formulazione mirata può quindi modificare le risposte, mentre la quota finale resta vicina a un caso rischioso ogni dieci.

Il significato di questa percentuale varia in base all'impiego. Un sistema usato occasionalmente per riformulare un testo ha un ruolo diverso da un software che influisce sulla gestione di centinaia di pazienti. Anche la natura dei singoli errori conta: una risposta problematica può avere conseguenze diverse secondo il contesto, l'informazione omessa e la possibilità che una persona la intercetti.

Le prove erano simulazioni costruite in condizioni controllate. Hanno mostrato come si comportano i modelli quando ricevono istruzioni diverse e quanto il richiamo alla sicurezza possa incidere sulle risposte.

La lezione per le dimissioni

Alla dimissione, molte informazioni devono rimanere coerenti tra cartella, lettera, terapia e indicazioni per il rientro a casa. Un sistema generativo può aiutare a riordinare dati già presenti e a preparare una bozza più leggibile, alleggerendo le attività ripetitive. Nella sintesi devono restare i dettagli che incidono sulla gestione: un'allergia, una terapia da proseguire o interrompere, un controllo da prenotare oppure un segnale per cui chiedere assistenza.

Conta il testo finale, ma conta anche il percorso che lo ha prodotto. Vanno considerati i dati inseriti nel contesto, le istruzioni assegnate, gli obiettivi messi in cima alle priorità e il controllo svolto prima dell'uso del documento. Un riepilogo scorrevole può apparire affidabile anche dopo aver perso un elemento clinico essenziale. La leggibilità e la completezza richiedono verifiche distinte; una risposta ben scritta richiede comunque una validazione.

La stessa cura serve quando l'IA propone una formulazione al professionista. Se il sistema segnala i punti incerti e mostra i dati da cui ha ricavato la sintesi, il controllo può concentrarsi sulle parti più delicate. Una conclusione fluida, invece, può rendere più difficile individuare un'omissione e costringere a ricostruire l'intero percorso. La supervisione deve essere concreta: chi controlla l'output ha bisogno di tempo, competenze e accesso alle informazioni necessarie per correggerlo. La sola approvazione formale non svolge questo compito.

Cartelle cliniche e agenti digitali

Nel Servizio sanitario nazionale, gli impieghi possibili comprendono la preparazione di sintesi delle cartelle, il supporto alla redazione di documenti e strumenti conversazionali che orientano gli utenti verso informazioni o servizi. Un assistente digitale può svolgere più passaggi consecutivi: recuperare dati, compilare un riepilogo, proporre un'attività o inoltrare una richiesta. Si parla in questi casi di agenti digitali, sistemi che generano testo ed eseguono compiti sulla base di istruzioni e accessi autorizzati.

Quando il sistema entra nei flussi di lavoro, occorre definire con precisione la differenza tra fornire informazioni e intervenire sul percorso del paziente. Spiegare in parole semplici un documento approvato da un professionista ha una funzione diversa dal modificare una terapia, stabilire una priorità o decidere che un controllo sia superfluo. Le funzioni vanno delimitate in modo comprensibile; quando l'output può incidere su diagnosi, trattamento o accesso alle cure, servono passaggi di conferma umana.

Gli strumenti di uso generale mostrano i motivi di questa cautela. Un modello linguistico può produrre testi plausibili e sbagliare fatti, trascurare il contesto o risentire della formulazione della domanda. Gli strumenti presentati come supporto alla salute hanno un ruolo distinto da quello di una visita: leggere un referto o preparare domande per il medico è un'attività diversa da una valutazione clinica personalizzata. La responsabilità delle decisioni resta alle persone e alle strutture che organizzano l'assistenza.

Le verifiche da predisporre negli ospedali

La valutazione di un sistema destinato alla sanità richiede prove che vadano oltre le domande standard con una risposta attesa. Gli scenari devono includere istruzioni operative, urgenza, dati incompleti e richieste in conflitto, così da verificare se il modello riconosce i rischi. È utile osservare se segnala il contrasto e chiede una verifica quando una consegna può produrre conseguenze dannose.

Un programma di verifica può articolarsi in più passaggi:

• Scenari avversi: simulare omissioni, informazioni contraddittorie e richieste che premiano la rapidità o la conformità a scapito della sicurezza.
• Controllo umano effettivo: stabilire chi rivede le risposte, con quali competenze e in quale fase, soprattutto prima di una dimissione o di una comunicazione al paziente.
• Tracciamento degli incidenti: registrare errori e quasi-errori, cioè risposte intercettate prima che producano conseguenze, per riconoscere schemi ricorrenti.
• Nuove prove nel tempo: ripetere i test dopo ogni modifica al modello, alle istruzioni o all'integrazione con i sistemi ospedalieri.

Registrare i quasi-errori permette di capire dove il controllo ha funzionato e quali difetti avrebbero potuto raggiungere il paziente. Per leggere correttamente i dati occorre distinguere il tipo di compito, la gravità potenziale e il momento in cui l'errore è stato corretto. Una risposta sbagliata in una bozza interna ha un peso diverso da un'indicazione clinica errata presentata come definitiva.

Anche gli aggiornamenti richiedono attenzione. Una nuova versione può comportarsi in modo diverso da quella già valutata; cambiare un prompt, una banca dati o l'accesso a una cartella può modificare il risultato complessivo. Perciò la valutazione va aggiornata nel tempo e deve seguire il sistema effettivamente usato, inclusi i passaggi tecnici e organizzativi che lo collegano al lavoro clinico.