Quando un sistema AI viene utilizzato da minori, bambini e adolescenti, la valutazione dei rischi non può fermarsi alla protezione dei dati personali. Contano anche le risposte che il sistema produce, il modo in cui interagisce con gli utenti, quali comportamenti può influenzare e le possibili conseguenze del suo utilizzo.
Alcuni recenti interventi del Garante Privacy offrono indicazioni pratiche che vanno oltre il contesto scolastico e la tutela dei minori, fornendo spunti utili a tutte le aziende, gli enti e i fornitori tecnologici che sviluppano o utilizzano sistemi basati sull’intelligenza artificiale.
Indice
Character.AI: i rischi dell’AI per i minori non riguardano solo i dati personali
Un segnale dell’attenzione che richiede l’interazione tra minori e intelligenza artificiale è arrivato dal provvedimento del Garante Privacy del 3 luglio 2026, con cui Character Technologies Inc., della piattaforma Character.AI, è stata sanzionata per 158.000 euro. Il servizio permette agli utenti di conversare con personaggi virtuali attraverso chatbot basati su AI generativa. Tra le violazioni accertate, particolare attenzione è stata dedicata all’inefficacia delle misure di protezione dei minorenni, a partire dai controlli sull’età, che consentivano l’accesso anche ad utenti sotto i 16 anni.
L’attenzione riservata alla verifica dell’età è significativa soprattutto per ciò che rivela. Ovvero, la necessità di proteggere i più giovani dai rischi che possono derivare dall’interazione stessa con i sistemi AI. Il problema, infatti, non è tanto stabilire chi possa accedere al servizio, quanto valutare a quali conseguenze possa essere esposto durante il suo utilizzo. La capacità dell’AI generativa di sostenere conversazioni realistiche, adattarsi all’interlocutore e simulare empatia può favorire un eccessivo affidamento sulle risposte, forme di dipendenza emotiva, isolamento, o perfino indurre, nei casi più delicati, a episodi di autolesionismo.
Non si tratta di preoccupazioni isolate: anche l’autorità australiana, eSafety Commissioner, ha rilevato carenze nelle misure volte a prevenire l’esposizione degli utenti a contenuti dannosi attraverso i chatbot. Analogamente, l’UNICEF, nel rapporto When AI becomes a friend ha evidenziato i rischi associati ai sistemi progettati per simulare rapporti di amicizia o relazioni personali.
L’utilità dell’AI generativa in molti contesti è evidente. Tuttavia, la familiarità con questi strumenti e l’apparente autorevolezza delle loro risposte non devono portare a sottovalutare la possibilità che producano informazioni inesatte, consigli inappropriati o contenuti potenzialmente dannosi.
Questi problemi diventano più gravi quando riguardano i minori, ma non sono esclusivi di questa categoria. Si pensi a pazienti che si affidano alle indicazioni di un assistente virtuale per interpretare sintomi o risultati clinici, a consumatori che ricevono consigli personalizzati da un chatbot commerciale. Una valutazione completa dei rischi legati all’uso di sistemi AI è bene che affronti la protezione dei dati personali e la sicurezza informatica. Ma dovrebbe comprendere anche l’affidabilità dei risultati, le modalità di interazione con gli utenti e le conseguenze di eventuali risposte inappropriate.
Protezione dati tramite separazione degli ambienti
Se il caso Character.AI richiama l’attenzione sui rischi dell’interazione tra minori e AI, un altro recente intervento dell’Autorità mostra che alcune criticità possono essere prevenute. Con il parere n. 787/2026 il Garante ha espresso infatti una valutazione favorevole sullo schema di decreto del Ministero dell’Istruzione e del Merito per l’utilizzo di soluzioni AI nelle scuole. Il parere contiene una soluzione tecnica che merita attenzione, vale a dire il modello architetturale e il ricorso a sistemi di pseudonimizzazione fin dalla progettazione. Il sistema prevede infatti la separazione tra due ambienti:
- Dominio A, contenente le informazioni identificative degli studenti;
- Dominio B, dove opera il sistema AI utilizzando identificativi pseudonimizzati.
La chiave per mettere in corrispondenza le identità con gli pseudonimi rimarrebbe invece sotto il controllo dell’istituzione scolastica, con accessi limitati ai soggetti autorizzati. Obiettivo ultimo: evitare che il fornitore del sistema AI possa identificare direttamente gli studenti.
La pseudonimizzazione non equivale, naturalmente, all’anonimizzazione: quando i dati possono essere ricondotti a una persona mediante informazioni aggiuntive, rimangono soggetti al GDPR. Perché allora ricorrere a pseudonimi e non al completo anonimato? Pensiamo a una piattaforma che propone esercizi personalizzati a studenti con difficoltà di apprendimento. Per adattare le attività alle loro esigenze, il sistema potrebbe dover collegare nel tempo risultati, progressi ed errori dello stesso studente, pur senza conoscerne il nome. Uno pseudonimo stabile consente di mantenere questa continuità, riducendo la circolazione delle informazioni identificative.
La separazione degli ambienti costituisce quindi una misura di protezione che può essere utile anche al di fuori della scuola. Ma tutto parte da un quesito sulla necessità di trattare determinate informazioni. Ecco allora una domanda da porsi: il sistema AI ha effettivamente bisogno di conoscere l’identità dell’utente per svolgere le proprie funzioni?
[ved. anche Il confine dei dati pseudonimizzati: opportunità e implicazioni dopo la “Sentenza Deloitte”]
Rischi intrinseci nell’uso di prompt
Anche un’architettura progettata per proteggere i dati può perdere parte della propria efficacia se non vengono considerate le modalità concrete di utilizzo del sistema. La separazione dei dati identificativi non elimina, infatti, ogni rischio per la privacy. Anche senza conoscere il nome dell’utente, ad esempio, un chatbot AI potrebbe ricevere informazioni sufficienti a identificarlo attraverso i contenuti delle conversazioni.
Pensiamo a un insegnante che per contestualizzare le difficoltà di apprendimento di uno studente, inserisca nel prompt dettagli sulla situazione familiare, le condizioni di salute o altre circostanze personali. Maggiori sono le informazioni condivise, maggiore è il rischio che lo studente risulti infine identificabile, vanificando le tutele originariamente offerte dalla pseudonimizzazione.
L’Allegato tecnico dello schema di decreto approvato dal Garante affronta espressamente questo rischio. Prevede infatti, tra le altre cose, istruzioni rivolte ai docenti sulla formulazione di prompt che non consentano di identificare gli studenti, esempi pratici, misure di sensibilizzazione degli studenti. Ancora una volta, il rischio riguarda qualsiasi organizzazione in cui gli utenti possano inserire nei sistemi AI dati personali o informazioni riservate. Le misure tecniche adottate in fase di progettazione devono quindi essere accompagnate da regole e controlli ordinari sulle modalità di utilizzo. In particolare, occorre intervenire su due fronti:
- Verso gli utenti: fornire istruzioni chiare sulle informazioni che possono essere inserite nei prompt e sui dati che devono invece essere esclusi.
- Verso i fornitori: verificare come vengono gestiti e conservati i prompt e le risposte generate, chi può accedervi e se tali contenuti possano essere utilizzati per addestrare o migliorare i modelli.
[ved. anche Privacy e intelligenza artificiale: verso un uso responsabile dell’AI generativa]
Consenso dei genitori e AI Act: quali regole si applicano?
La tutela dei minori nell’utilizzo dell’intelligenza artificiale richiede di coordinare il GDPR con la normativa italiana e l’AI Act. L’articolo 4, comma 4, della Legge 132/2025 stabilisce che l’accesso alle tecnologie di intelligenza artificiale da parte dei minori di 14 anni, e il conseguente trattamento dei dati personali, richiedano il consenso di chi esercita la responsabilità genitoriale. A partire dai 14 anni, invece, il minore può esprimere autonomamente il proprio consenso, purché riceva informazioni facilmente accessibili e comprensibili.
La disposizione va coordinata con il GDPR e non significa che il consenso dei genitori sia sempre necessario per qualsiasi trattamento effettuato attraverso sistemi AI. Occorre distinguere, ad esempio, l’accesso diretto a un chatbot dall’utilizzo di strumenti di intelligenza artificiale da parte di una scuola nell’esercizio delle proprie funzioni istituzionali, individuando la base giuridica applicabile al trattamento.
Il consenso, d’altra parte, non rende automaticamente legittimo qualsiasi utilizzo dell’AI.
L’AI Act vieta determinate pratiche, tra cui l’impiego di sistemi destinati a inferire le emozioni delle persone negli istituti scolastici (salvo specifiche eccezioni). I sistemi utilizzati per valutare i risultati dell’apprendimento o determinare l’accesso a determinati percorsi formativi, inoltre, possono rientrare tra i sistemi classificati “ad alto rischio” e quindi soggetti a obblighi specifici e aumentati per documentarne la conformità.
[ved. anche Riservatezza di un minore e diritto di cronaca: un bilanciamento complesso]
Dalla tutela dei minori alla gestione dei rischi dell’AI
L’attenzione delle autorità alla tutela dei minori offre spunti preziosi sul rischio dell’intelligenza artificiale anche in contesti che non hanno ancora ricevuto la stessa attenzione.
La “vulnerabilità”, del resto, non dipende soltanto dall’età. Può derivare dalle condizioni di salute, da una scarsa conoscenza della tecnologia, da situazioni di dipendenza o squilibri di potere. Occorre insomma riconoscere che uno stesso sistema AI può produrre effetti molto diversi a seconda delle persone coinvolte e delle circostanze in cui viene utilizzato.
La governance dell’intelligenza artificiale passa anche attraverso ruoli definiti, controlli sulle utenze, documentazione tecnica ed evidenze sulle scelte di progettazione, verifiche in diverse fasi. E prima di introdurre un sistema AI, è importante chiedersi chi lo utilizzerà, per quali attività e con quali possibili conseguenze. La differenza tra una conformità documentale e una gestione efficace dei rischi si misurerà anche nella capacità di dare di volta in volta risposta a queste domande.
[ved. anche Rischi e opportunità dell’AI: la “FRIA” come strumento strategico]
