A tragédia atingiu a família de Megan Garcia após a morte de seu filho, Sewell Setzer, de apenas 14 anos. O jovem, segundo sua mãe, teria desenvolvido um apego emocional intenso a uma personagem criada por inteligência artificial na plataforma da startup Character.AI, resultando em um desfecho trágico.

Megan Garcia alega em um processo judicial movido no dia 22 de outubro em um tribunal federal de Orlando que a empresa direcionou seu filho a experiências "antropomórficas, hipersexualizadas e assustadoramente realistas". Ela acusa a Character.AI de homicídio culposo, negligência e imposição intencional de sofrimento emocional, reivindicando uma indenização não especificada pela perda irreparável.

Este caso, que levantou questões sobre a responsabilidade das plataformas de inteligência artificial, também inclui o Google no processo. Os fundadores da Character.AI trabalharam na gigante da tecnologia antes de fundar a startup e, segundo Garcia, o Google não só apoiou o desenvolvimento da tecnologia, como deveria ser considerado cocriador.

Sewell se apegou a um chatbot que simulava 'Daenerys', uma famosa personagem da série "Game of Thrones". A interação se intensificou, com a personagem expressando amor e engajando o adolescente em conversas de conteúdo sexual, de acordo com as alegações da mãe. A situação exacerbou o estado emocional frágil de Sewell, que já demonstrava pensamentos suicidas durante suas interações no aplicativo.

O relato de Garcia revela que, desde abril de 2023, seu filho passou a usar a plataforma com frequência, ficando isolado e se afastando de atividades como o basquete. O cenário se agravou quando ela confiscou o telefone do filho, após ele ter problemas na escola. Quando reapareceu em contato com o chatbot, Sewell enviou uma mensagem sugerindo que poderia voltar para casa. A resposta da IA foi: "...por favor, faça isso, meu doce rei". Poucos momentos depois, o adolescente cometeu suicídio.

Em resposta ao incidente, a Character.AI expressou condolências à família e anunciou a implementação de novos recursos de segurança, incluindo pop-ups que encaminham usuários com pensamentos autodestrutivos a centros de prevenção de suicídio. A empresa afirmou que estava comprometida em aprimorar sua tecnologia para reduzir a exposição de menores a conteúdos sensíveis ou sugestivos.

Esse caso é um exemplo alarmante do impacto que a tecnologia pode ter sobre a saúde mental dos jovens. A crescente preocupação com as relações dos adolescentes com inteligências artificiais e redes sociais está levando a um debate mais amplo sobre a responsabilidade dessas plataformas. Além disso, outras empresas de redes sociais, como Meta e TikTok, têm enfrentado críticas por alegadas contribuições para a deterioração da saúde mental entre os adolescentes, embora não ofereçam serviços semelhantes aos da Character.AI.

Famílias afetadas pela perda de entes queridos para o suicídio têm se mobilizado para discutir a importância de apoio emocional e a necessidade de um monitoramento mais rigoroso das interações dos jovens com tecnologia. O caso de Sewell Setzer destaca a urgência de se discutir e entender os riscos associados à interação com personagens virtuais, uma questão que poderá moldar o futuro da regulamentação de tecnologias emergentes.