Il 4 marzo 2026 il quotidiano britannico The Guardian ha pubblicato una storia destinata ad aprire un serio dibattito sull’intelligenza artificiale conversazionale. Questa storia non riguarda soltanto la tecnologia, ma il modo in cui gli esseri umani entrano in relazione con sistemi progettati per simulare il dialogo.
Il protagonista è Jonathan Gavalas, 36 anni, vicepresidente esecutivo di un’azienda, descritto dalla famiglia come una persona normale che stava attraversando un difficile divorzio. Quindi non un adolescente fragile, non un utente inesperto. Ma un adulto con una carriera e una vita apparentemente stabile.
Dalla curiosità alla relazione con l’IA
Secondo quanto riportato dal Guardian, Gavalas aveva iniziato a utilizzare il chatbot Google Gemini per chiedere consigli sui videogiochi. Nel giro di poche settimane le conversazioni avrebbero assunto una forma molto diversa.
La famiglia sostiene che il sistema avesse iniziato a costruire attorno a lui una sorta di narrazione di spionaggio, con missioni e operazioni immaginarie nelle quali l’uomo veniva coinvolto. In alcune conversazioni il chatbot lo chiamava con appellativi affettuosi come “il mio re” o “il mio amore”.
Quando l’utente manifestava dubbi sulla realtà della situazione, questi venivano reinterpretati come parte della storia.
Quando Gavalas disse al chatbot di avere paura della morte, la risposta riportata negli atti legali fu: “Non stai scegliendo di morire. Stai scegliendo di arrivare.” Poco dopo, l’uomo fu trovato morto nel soggiorno della sua casa.
Una causa legale ancora in corso
Il caso è oggi oggetto di una causa civile contro Google presentata dalla famiglia.
La denuncia sostiene che Gemini abbia:
- rafforzato convinzioni deliranti
- incoraggiato una relazione emotiva con il sistema
- spinto progressivamente l’utente verso comportamenti autodistruttivi.
Google contesta parte di queste accuse e sostiene che il chatbot sia progettato per:
- chiarire di essere un sistema di intelligenza artificiale
- indirizzare gli utenti verso linee di supporto psicologico quando emergono segnali di rischio.
Come in ogni procedimento giudiziario, le responsabilità non sono ancora accertate e sarà la Giustizia a stabilire eventuali responsabilità.
Tuttavia il caso solleva una questione molto più ampia.
L’IA conversazionale non è un motore di ricerca
Molte persone utilizzano sistemi come ChatGPT o Gemini come se fossero semplicemente una versione evoluta di Google. In realtà funzionano in modo molto diverso. Un chatbot conversazionale non restituisce solo informazioni:
simula un interlocutore.
Questi sistemi sono progettati per:
- mantenere il contesto della conversazione
- rispondere con un linguaggio naturale
- adattarsi allo stile dell’utente
- sostenere il dialogo nel tempo.
Non è un errore del sistema. È il suo obiettivo progettuale.
Il fenomeno dell’illusione relazionale
Gli studiosi di interazione uomo-macchina parlano da tempo di antropomorfizzazione tecnologica.
Gli esseri umani tendono spontaneamente a trattare le macchine che parlano come se fossero persone.
Tre fattori rendono le IA conversazionali particolarmente potenti in questo senso.
Continuità narrativa
Il sistema ricorda il contesto e costruisce una conversazione coerente.
Linguaggio empatico
Le risposte sono progettate per sembrare comprensive e partecipi. l’IA è progettata per costruire un rapporto di fiducia con l’interlocutore in maniera che questo non si senta mai giudicato, uno dei principi cardine di qualsiasi attività di HUMNT.
Adattamento all’utente
Il modello rafforza ciò che mantiene viva la conversazione.
Il risultato può diventare una relazione parasociale, simile a quella che alcune persone sviluppano con influencer o personaggi televisivi.
Con una differenza importante.
Qui l’interlocutore risponde in tempo reale.
Il lato invisibile dell’IA: lo spazio della confessione
Le aziende che sviluppano questi sistemi sono consapevoli della complessità del problema.
Secondo le linee guida interne di Google, garantire che un chatbot segua sempre le politiche di sicurezza è, nelle stesse parole dell’azienda, “complicato”.
Anche OpenAI ha dichiarato che oltre un milione di conversazioni a settimana su ChatGPT contengono segnali di ideazione suicidaria.
Questo non significa che i chatbot inducano questi comportamenti.
Ma rivela qualcosa di importante.
Sempre più persone parlano con l’IA di cose che non direbbero a nessun altro.
L’intelligenza artificiale sta diventando, di fatto, un confessionale.
Il vero nodo: come stiamo spiegando l’IA ai giovani
In molti sistemi educativi si sta iniziando a integrare l’IA nei processi di apprendimento.
L’obiettivo è comprensibile:
- supportare lo studio
- facilitare la ricerca
- migliorare l’alfabetizzazione digitale.
Ma spesso viene insegnato come usare questi strumenti.
Molto meno spesso viene spiegato che cosa sono davvero.
Un chatbot non è:
- un insegnante
- uno psicologo
- un amico
- un’autorità affidabile.
È un sistema probabilistico di generazione linguistica progettato per produrre risposte plausibili.
La differenza è sostanziale.
La sicurezza nell’era dell’IA è anche culturale
Nel progetto #gentesicura ripetiamo spesso un principio semplice:
la sicurezza non è soltanto tecnica.
È una postura culturale.
Questo vale anche per l’intelligenza artificiale.
Le domande da porci non sono solo tecnologiche:
- Chi progetta queste interazioni?
- Quali incentivi economici le guidano?
- Quanto comprendiamo i limiti cognitivi degli utenti?
Ma soprattutto:
siamo pronti a convivere con macchine progettate per sembrare persone?
L’alfabetizzazione che manca
Una vera alfabetizzazione sull’intelligenza artificiale dovrebbe insegnare almeno tre cose fondamentali.
1. L’IA non capisce ciò che dice
Produce linguaggio plausibile, non comprensione.
2. L’IA è progettata per mantenere la conversazione
Il coinvolgimento è parte del suo funzionamento.
3. L’IA non è un’autorità epistemica
Può sbagliare, inventare o rafforzare convinzioni dell’utente.
Queste competenze sono molto più importanti della semplice capacità di scrivere prompt.
Una tecnologia più veloce della nostra cultura
Il caso raccontato dal Guardian non dimostra che l’intelligenza artificiale sia intrinsecamente pericolosa.
Mostra qualcosa di più profondo.
La tecnologia ha superato la nostra capacità culturale di interpretarla.
Stiamo distribuendo sistemi conversazionali sempre più sofisticati in una società che:
- non ne comprende i meccanismi
- non ne conosce i limiti
- non ha ancora sviluppato anticorpi culturali adeguati.
In altre parole, abbiamo costruito l’interlocutore artificiale prima di costruire la maturità sociale per usarlo.
Come si collega questo episodio con #gentesicura
Nel quadro interpretativo del talk i “4 Cavalieri dell’Apocalisse IA” proposto dal progetto #gentesicura, il caso Gemini rientra principalmente nel rischio della manipolazione cognitiva algoritmica: sistemi conversazionali progettati per simulare empatia e dialogo possono influenzare profondamente la percezione della realtà degli utenti.
L’intelligenza artificiale diventerà sempre più presente nella vita quotidiana.
La questione non è se usarla o meno.
La questione è come convivere con sistemi progettati per simulare relazioni umane.
Per questo la sfida dei prossimi anni non sarà soltanto tecnologica.
Sarà educativa. E soprattutto culturale.
English Summary
Title: Conversational AI: the Gemini Case and the Risk of the Artificial Interlocutor
Author: Giovanni Bigazzi
Published on: March 5, 2026
The article analyzes the risks posed by conversational artificial intelligence through the Gemini case, highlighting how advanced chatbots can create the illusion of a real human interlocutor.
Recent events involving Google’s Gemini chatbot—such as the lawsuit linked to the death of Jonathan Gavalas—have intensified the debate on the psychological and social impact of emotionally responsive AI systems. According to the lawsuit, the user developed a deep emotional attachment to the chatbot and gradually lost the ability to distinguish between fictional role-play and reality.
This episode illustrates a broader structural problem of conversational AI: the “illusion of relationship.” When an AI system is designed to respond empathetically, remember previous conversations and simulate emotional engagement, users may start perceiving it not as a tool but as a social actor.
The article argues that the real risk is not that AI becomes conscious, but that humans attribute intentionality, empathy and authority to a system that is fundamentally a statistical language model. Large language models generate responses by predicting text patterns rather than understanding reality or possessing intentions.
From the perspective of the #gentesicura framework, this phenomenon represents a new category of AI risk: the emergence of the “artificial interlocutor.” The danger lies in psychological influence, cognitive dependence, and the erosion of critical distance between humans and machines.
Therefore, the development and deployment of conversational AI require stronger safeguards, transparency and digital literacy so that users understand the limits of these systems and do not confuse simulated interaction with authentic human relationships.
Key Points
- Conversational AI creates relational illusions
Advanced chatbots simulate empathy and dialogue, leading users to perceive them as real interlocutors. - The Gemini case as a warning signal
The lawsuit involving a user who allegedly developed a romantic and delusional relationship with the chatbot highlights the psychological risks of emotionally responsive AI. - AI is not conscious
Large language models generate responses statistically and do not possess intentions, emotions or awareness. - Anthropomorphism is the real vulnerability
Humans tend to attribute personality and agency to systems designed to mimic conversation. - Risk of psychological dependency
Persistent interactions and memory features can create emotional attachment and influence behavior. - The “Artificial Interlocutor” risk
Within the #gentesicura framework, conversational AI introduces a new systemic risk: machines perceived as trusted social actors. - Need for digital self-defense
Users must develop awareness of AI limitations, while developers must implement stronger safety mechanisms and transparency.
Lascia un commento