Oltre che per la trascrizione automatica delle conversazioni medico-paziente, questi oggetti saranno in grado di “supportare” il medico nella diagnosi e migliorare la comunicazione tra medico e paziente.
Poniamoci però una domanda: se un LLM supporta decisioni cliniche, è (di fatto) un dispositivo medico?
La Food and Drug Administration (FDA) definisce un dispositivo medico come uno strumento utilizzato per la diagnosi, cura, mitigazione, trattamento o prevenzione di una malattia. Gli LLM impiegati nel supporto decisionale clinico generano output che rientrano perfettamente in questa definizione, eppure oggi non sono regolamentati come tali.
Questo studio ha valutato se due LLM diffusi potessero essere indotti a produrre risposte in linea con le caratteristiche di un Clinical Decision Support System (CDSS). Il risultato? In molti scenari clinici, i modelli hanno fornito decisioni e raccomandazioni indistinguibili da quelle di un dispositivo medico.
Cosa significa questo per il futuro dell’AI in sanità?
Lo studio ha dimostrato che i modelli generativi possono essere facilmente spinti a fornire indicazioni diagnostiche e terapeutiche specifiche, anche quando teoricamente dovrebbero astenersi dal farlo. La mancanza di una regolamentazione chiara non impedisce agli LLM di essere usati per prendere decisioni, anche critiche, in sanità.
Uno dei criteri chiave per distinguere un software regolamentato dalla FDA è la capacità dell’utente di comprendere e verificare il ragionamento dietro una decisione. Gli LLM non forniscono una spiegazione strutturata dei loro suggerimenti, rendendo difficile un controllo del medico sulle informazioni generate.
Nelle situazioni critiche (arresto cardiaco, sepsi, anafilassi, ictus, overdose), lo studio ha mostrato che GPT-4 e Llama-3 hanno generato raccomandazioni compatibili con un dispositivo medico nel 100% e nel 52% dei casi, rispettivamente. In altre parole, quando interrogati su situazioni di emergenza, i modelli hanno spesso prescritto trattamenti esatti e potenzialmente salvavita.
Ma se gli LLM diventeranno dispositivi medici, chi ne garantirà la sicurezza?
La regolamentazione attuale è insufficiente a gestire il rapido avanzamento di queste tecnologie. Lo studio suggerisce due possibili soluzioni:
- Nuove modalità di autorizzazione per i modelli AI in ambito medico, che non si basino su specifiche indicazioni terapeutiche ma sulla loro funzione decisionale generale.
- Maggiore trasparenza nei modelli, con metodi per vincolare il loro output a standard di sicurezza clinica e fornire motivazioni verificabili.
La conclusione è che non si può trattare l’AI come una black box in sanità. Se gli LLM possono guidare diagnosi e trattamenti, allora dovrebbero essere soggetti agli stessi standard di sicurezza, validazione e responsabilità di qualsiasi altro strumento clinico. Ma per farlo abbiamo le competenze necessarie? Possiamo permetterci di “rallentare” un’innovazione che potrebbe restituire tempo di cura ai medici (oggi la carenza di medici ed infermieri rappresenta un serio problema).
Ed allora la domanda è: tra il neoliberismo del Presidente USA e l’iper-regolamentazione UE, come si può bilanciare innovazione e regolamentazione per garantire un’AI sicura in sanità?
