Mini-guida legale all’introduzione dell’AI in sanità

1) Introduzione

Con questa seconda analisi delle regole applicabili ai sistemi di AI per il settore sanitario proveremo ad analizzare i più diffusi casi di utilizzo da parte delle aziende sanitarie dell’AI per superare molte delle sfide quotidiane basate sui dati.

1.2) Primi passi verso un’implementazione conforme

L’implementazione di soluzioni IA inizia sempre con l’analisi della specifica situazione aziendale, anche in ambito sanitario.

Ospedali, strutture sanitarie e poliambulatori dovrebbero innanzitutto formare un team multidisciplinare, rappresentativo di diverse funzioni organizzative, per stabilire ruoli e responsabilità ed esaminare le questioni relative all’introduzione di questi nuovi strumenti.

Inoltre, dovrebbero essere coinvolti fin da subito il DPO e gli opportuni consulenti esterni. Un altro step fondamentale – in linea con le Linee guida AgiD, sempre utili in questi casi – è la valutazione dell’integrazione del sistema IA con i sistemi esistenti.

L’IA deve essere compatibile con l’ecosistema informatico della struttura, inclusi i sistemi di gestione delle cartelle cliniche elettroniche, i sistemi informativi ambulatoriali e le altre piattaforme in uso (come quelle di gestione delle anagrafiche, contabilità o fatturazione).

Dopo aver mappato beni, servizi, fornitori, piattaforme informatiche in uso, e le risorse umane responsabili, si passa alla scelta dello specifico settore medico in cui implementare l’IA. Questo permette di avviare il processo in modo mirato e strategico.

Infine, è importante definire i benefici attesi per valutare correttamente il rapporto costi-benefici del sistema IA. Vediamo quindi i settori in cui l’IA è già diffusa e quelli in cui promette di apportare i maggiori benefici in futuro.

2) Gli strumenti di AI sul mercato già disponibili in ambito medico-sanitario

2.1) Nel settore della radiologia.

Circa il 75% dei dispositivi medici basati sull’intelligenza artificiale già presenti sul mercato riguarda la radiologia, suggerendo una maggiore maturità e consapevolezza su questo ambito tra i radiologi.

Attualmente, dunque, la maggior parte delle soluzioni AI implementate (o da valutare) nelle strutture sanitarie sono classificate come ad alto rischio, poiché i dispositivi radiologici basati sull’AI sono quasi tutti (tranne un tipo) in classe IIa o superiore, secondo la MDR.

Ad esempio, i dispositivi di diagnosi a raggi X potenziati dall’AI sono considerati ad alto rischio ai sensi dell’art. 6 dell’AI Act e dei suoi fondamentali allegati.

Ciò impone in primis ai loro fornitori e, a cascata, ai loro utilizzatori (per il rapporto tra provider e deployer si rimanda ad un nostro precedente articolo) di dimostrare la conformità ai requisiti per i sistemi AI ad alto rischio entro 24 o 36 mesi dall’entrata in vigore dell’AI Act, a seconda che rientrino nell’Allegato III (agosto 2026) o nell’Allegato I (agosto 2027).

Essendo classificati come dispositivi medici, tali sistemi AI sono soggetti ai massimi obblighi di compliance previsti dall’AI Act, i quali però devono essere integrati anche con quelli previsti dalla MDR.

Essendo la MDR divenuta pienamente efficace solo di recente, l’AI Act prevede dunque un trattamento temporale agevolato per questi dispositivi soggetti ad una doppia regolamentazione (come già visto nel nostro primo approfondimento sull’AI in sanità).

2.2) Due macro-tipologie di strumenti AI disponibili in ambito medico

In generale, trasversalmente per la maggior parte dell’ambito medico nel suo complesso, possiamo distinguere due macro-tipologie di strumenti medici potenziati dall’AI.

a) Strumenti AI per i medici

Questi strumenti assistono i professionisti sanitari processando dati e fornendo suggerimenti diagnostici o raccomandazioni di trattamento, spesso integrati in apparecchiature mediche. Tuttavia, il medico deve sempre controllare e validare i risultati forniti dal sistema AI.

Il processo dovrebbe prevedere un momento di verifica e controllo da parte del medico, garantendo che il sistema di IA sia attivato solo su richiesta esplicita del professionista sanitario, mai automaticamente.

Questo accorgimento facilita l’allocazione della responsabilità, assicurando che la decisione di elaborare i dati tramite AI sia sempre sotto il controllo del medico, riducendo il rischio di errori o automatismi incontrollati.

b) Strumenti AI per i pazienti

Si tratta di strumenti AI destinati direttamente ai pazienti, permettendo loro una maggiore autonomia nella gestione del percorso di cura. Spesso integrati in smartphone o dispositivi indossabili, questi strumenti possono anche connettersi a device esterni più tecnici e specifici.

Un esempio sono i dispositivi medici per pazienti diabetici che monitorano i livelli di zucchero nel sangue e regolano automaticamente l’insulina, aiutando i pazienti con l’AI a monitorare attivamente la patologia e gestirla nel quotidiano.

In caso di malfunzionamenti che causino danni, il paziente può agire contro il fabbricante o fornitore utilizzando gli strumenti giudiziari ordinari per difetti di prodotto. Tuttavia, l’asimmetria informativa tra il paziente e il fabbricante complica la dimostrazione del difetto e del suo nesso causale con il danno.

L’AI Act supporta il consumatore imponendo, soprattutto per i sistemi ad alto rischio, elevati standard di trasparenza e spiegabilità delle logiche di funzionamento e degli output forniti, facilitando di fatto la prova di eventuali malfunzionamenti.

Possiamo quindi apprezzare come la trasparenza delle logiche di funzionamento sia cruciale sia per i pazienti che per i professionisti sanitari. Infatti, se l’algoritmo è conoscibile e trasparente, anche i medici possono ripercorrere il percorso decisionale che ha portato all’output, individuando eventuali distorsioni.

3) Ambiti sanitari con maggiori aspettative di miglioramento e benefici

Oltre ai progressi nell’analisi delle immagini mediche, inclusi RX, strisci di sangue, sedimenti urinari e immagini microbiologiche – grazie soprattutto agli algoritmi di Deep Learning – ci sono altri settori dove le strutture sanitarie (pubbliche, private o accreditate) possono valutare l’uso dell’AI:

3.1) Diagnosi medica, test aggiuntivi e commenti automatici

Alcuni strumenti di apprendimento automatico hanno dimostrato una notevole precisione nell’identificare cisti (anche solo potenzialmente) cancerogene rispetto ai soli criteri clinici e di imaging convenzionali, riducendo costi e tassi di incidenza della malattia.

Inoltre, l’AI può rilevare lievi cambiamenti nello stato di salute, permettendo diagnosi precoci delle patologie sottostanti.

3.2) Analisi delle cartelle cliniche elettroniche

Modelli di riconoscimento del linguaggio naturale, come il riconoscimento vocale e l’analisi di note mediche, referti e lettere di dimissioni possono aumentare la produttività, ridurre gli errori e permettere ai medici di concentrarsi di più sul paziente.

Questi strumenti possono anche suggerire i momenti migliori per sottoporsi a controlli diagnostici, ottimizzando il flusso di lavoro, riducendo le liste d’attesa e semplificando il lavoro amministrativo delle segreterie.

3.3) Assistenti sanitari virtuali (triage, coaching, monitoraggio remoto, dispositivi indossabili)

Le strutture sanitarie possono instaurare un canale di comunicazione continuo con i pazienti grazie all’uso di assistenti virtuali basati sull’AI, consentendo servizi sempre operativi.

In questo contesto, è essenziale che le strutture si facciano consegnare dal fornitore adeguate istruzioni sulla trasparenza e informino gli utenti sull’uso dell’AI, soprattutto se tale uso influisce sul loro diritto alla salute. Inoltre, gli output devono essere leggibili in formato digitale e riconoscibili come generati artificialmente.

Le persone interessate da decisioni prese tramite sistemi di IA ad alto rischio hanno infatti il diritto di ricevere spiegazioni su come l’IA abbia contribuito alla decisione e sui suoi potenziali impatti negativi.

I distributori e gli utilizzatori sono obbligati a comunicare chiaramente agli utenti e ai pazienti eventuali rischi e malfunzionamenti che potrebbero danneggiarli, evitando l’uso di pratiche ingannevoli (scritte trasparenti o facili da ignorare).

3.4) Scoperta e sviluppo di farmaci

Una parte significativa del mercato dell’AI nella sanità è dedicata all’assistenza nel ciclo di vita dei farmaci, dalla scoperta e progettazione di nuove molecole, alla sintesi, screening, arruolamento negli studi clinici e monitoraggio post-commercializzazione.

L’AI può predire ed evitare effetti collaterali, superando i limiti dei test di tossicità in vitro e sugli animali. Già oggi, le principali aziende farmaceutiche stanno investendo nel mercato dell’AI e collaborano proficuamente con società specializzate in strumenti AI.

4) Limiti e rischi specifici nell’utilizzo dell’AI in sanità e possibili soluzioni

Nonostante i benefici dell’AI in sanità, emergono rischi che richiedono un approccio di gestione e mitigazione, che rappresenta il fulcro essenziale dell’AI Act.

Gli strumenti di IA generativa, a differenza dei nostri insostituibili professionisti, mostrano ancora limiti nell’interpretare referti di laboratorio, dimostrando che gli output forniti da tali strumenti richiedono un monitoraggio accurato per evitare conseguenze legali per medici e strutture sanitarie.

4.1) Mancanza di validazione clinica esterna

La maggior parte degli studi clinici, soprattutto in Europa, è retrospettiva e basata su set di dati pre-assemblati, limitando la confrontabilità.

Pochi studi sono prospettici e condotti in contesti clinici reali, e ciò porta alla mancanza di un confronto sugli stessi set di dati tra le prestazioni dei modelli di AI e quelle degli esperti sanitari.

Una soluzione a questo problema potrebbe essere l’esecuzione di più studi clinici prospettici, validati esternamente, sebbene la diversità dei modelli di AI renda questo processo complesso.

In aiuto però intervengono:

• le MINIMAR (Minimum Information for Medical AI Reporting), standard internazionali proposti per essere usati nel reporting degli studi clinici che coinvolgono l’AI in medicina, e
• lo Spazio Europeo dei Dati Sanitari (European Health Data Space, EHDS), che mira a permettere alle persone di controllare i propri dati sanitari e favorisce lo scambio sicuro di questi dati nell’UE, promuovendo il loro riutilizzo per ricerca, innovazione e regolamentazione

4.2) Scarsa trasparenza sul processo di sviluppo, addestramento e miglioramento dell’AI

L’AI Act tenta di affrontare questo limite sistemico dell’ecosistema attorno all’AI, imponendo obblighi per garantire la trasparenza dei sistemi di IA. Tra questi, vi è l’obbligo di informare le persone quando interagiscono con un sistema controllato dall’IA.

I fornitori di modelli di AI devono predisporre documenti dettagliati, sia per gli interessati, sia – in versione più estesa – per le autorità di controllo, riguardanti:

• creazione, utilizzo e validazione del modello;
• valutazione d’impatto preliminare;
• protezione della privacy e tutela della riservatezza;
• descrizione degli interessati, degli stakeholder e degli obiettivi da raggiungere.

4.3) Scarsa interpretabilità o spiegabilità dell’output

La scarsa interpretabilità del funzionamento del modello è nota come ‘Effetto Black Box’ e rappresenta una delle principali criticità soprattutto dei modelli di Deep Learning, di cui si conosce l’input e si osserva l’output, ma non si comprende la relazione causa-effetto tra i due.

Per affrontare questo limite e rafforzare la fiducia degli europei nella concretezza dei loro diritti, l’AI Act introduce il concetto di Intelligenza Artificiale Spiegabile (eXplainable Artificial Intelligence o XAI).

Questo concetto si riferisce a processi e metodi che permettono agli utenti di comprendere e fidarsi dei risultati generati dall’AI. I punti chiave della XAI, che devono essere spiegati in modo chiaro, includono:

• Usabilità: capacità del sistema di creare un ambiente sicuro per l’utente;
• Affidabilità: robustezza del sistema al variare di parametri e input;
• Equità: resistenza a pregiudizi o discriminazioni;
• Fiducia: confidenza dell’utilizzatore nelle prestazioni;
• Privacy: modalità di raccolta e trattamento dei dati personali;
• Trasparenza: appena vista sopra nel punto 4.2.

5) Errori e leggerezze da evitare nell’utilizzo di sistemi di AI in sanità

Nonostante i benefici evidenti, l’impatto clinico dei modelli di IA nella medicina è ostacolato da progettazioni errate degli studi, dimensioni ridotte dei campioni, diversità degli algoritmi e deboli strategie di validazione.

Inoltre l’uso dell’IA da parte di strutture sanitarie, laboratori e poliambulatori non può mai andare a selezionare con criteri discriminatori, limitando l’accesso alle prestazioni sanitarie.

Questo rischio si aggrava laddove solo le persone benestanti o i grandi ospedali possano permettersi questi sistemi avanzati, mentre le strutture sottofinanziate e certe aree rimangono escluse.

L’Unione Europea con l’AI Act, e gli stati membri con le norme di coordinamento, dovranno garantire che questo principio sia attuato concretamente, evitando che rimanga solo teorico.

Inoltre, alcuni larghi modelli di linguaggio (LMM), già introdotti sul mercato, possono portare a violazioni frontali dei diritti fondamentali protetti dal GDPR, incluso quello di protezione dai processi decisionali totalmente automatizzati.

5.1) Lesson learned dalle possibili violazioni, e conseguenze

Le violazioni compiute tramite tali sistemi di AI, anche generativa, includono:

1. la raccolta e l’utilizzo di dati personali da Internet (scraping) senza consenso e senza un “interesse legittimo” sufficientemente dimostrato;
2. l’omessa informazione agli interessati sull’uso dei loro dati, il mancato riconoscimento del loro diritto di correggere errori, cancellare dati (diritto all’oblio) o di opporsi al loro utilizzo;
3. utilizzi secondari incompatibili con le finalità per cui i dati sensibili sono stati raccolti tramite chatbot o altre interfacce per pazienti;
4. assenza di un adeguato sistema di verifica dell’età per filtrare gli utenti al di sotto dei 13 anni e tra i 13 e i 18 anni senza consenso dei genitori.

Queste violazioni possono anche andare contro, contemporaneamente, anche alle leggi sulla protezione dei consumatori.

Se questi problemi non vengono risolti, i fornitori di tali sistemi violano non solo il GDPR ma anche, in ottica futura, l’AI Act ed inoltre, contemporaneamente, anche i principi guida dell’Organizzazione Mondiale della Sanità (OMS) sull’uso dell’IA nella salute.

L’Agenzia Europea per i Medicinali (EMA), inoltre, ha sottolineato con forza che i principi cardine e generali alla base del GDPR devono guidare anche lo sviluppo dell’AI in ambito sanitario.

Le strutture sanitarie dovranno dunque monitorare continuamente i fornitori di strumenti di IA per garantire la conformità alle normative e agli standard applicabili.

6) Riassumendo e concludendo: come navigare il futuro?

Di solito, infatti, le strutture sanitarie si troveranno spesso ad acquistare sistemi di IA sviluppati da terzi (fornitori) con poche customizzazioni e senza troppi impatti medici immediati, il che li esclude dalla classificazione di alto rischio. Tuttavia, in qualità di utilizzatori, devono affrontare nuovi obblighi, tra cui:

– Monitorare il funzionamento del sistema di IA e, in caso di incidenti o violazioni, informarne il fornitore e segnalarli alle autorità competenti.

– Utilizzare i sistemi secondo le istruzioni fornite dai fornitori, evitando utilizzi impropri, oltre le finalità previste, modifiche sostanziali non autorizzate o applicazioni fuori dai limiti geografici pre-impostati.

– Affidare la sorveglianza a personale qualificato, adeguatamente formato per il funzionamento e l’utilizzo dei sistemi di IA. Questa formazione deve considerare il contesto d’uso, i destinatari e gli interessati, con l’obiettivo di:

Riconoscere usi inappropriati e prevenire pregiudizi;

Coinvolgere e educare i pazienti che stanno considerando l’uso dell’AI;

Comprendere le modalità di condivisione e di utilizzo dei dati.

Inoltre, è importante anche acquisire una comprensione diffusa, da parte di tutte le risorse e le funzioni aziendali, del sistema in uso e delle sue implicazioni sia organizzative che legali.

Le risorse delle strutture sanitarie, laboratori, poliambulatori e centri medici devono familiarizzare con i concetti dell’IA ed essere alfabetizzate su queste delicate tematiche per poterne sfruttare al meglio le opportunità, continuando però sempre a mantenersi critiche nei confronti dei risultati ottenuti tramite l’IA.

Se avete domande di natura legale, normativa o commerciale, oppure se desiderate formazione su questi temi cruciali, non esitate a contattarci. Ne abbiamo parlato anche al corso tenuto dai nostri professionisti per Get-Ready: se volete recuperarlo, assieme alle slides, potete farlo qui.

Siamo qui per supportarvi nel navigare l’affascinante mondo dell’intelligenza artificiale in sanità e assistervi affinché il vostro utilizzo di questi sistemi sia efficace, sicuro e conforme alle normative.