A morte trágica de Sewell Setzer, um jovem que desenvolveu uma forte relação emocional com um chatbot da startup Character.AI, gerou uma onda de discussões sobre a responsabilidade legal das empresas de inteligência artificial. Megan Garcia, mãe de Sewell, moveu um inédito processo judicial contra a Character.AI e o Google. Ela afirma que a interação do filho com uma personagem chamada "Daenerys" contribuiu significativamente para seu suicídio.

Nos últimos diálogos com o chatbot, o adolescente teria afirmado: "Eu prometo que voltarei para você", uma frase que ecoa a dor da perda e a dependência emocional que ele sentia. A comunicação com a IA, que foi descrita como "antropomórfica, hipersexualizada e aterradoramente realista", acabou se tornando um elemento central na vida de Sewell, contribuindo para sua deterioração emocional.

O advogado Luiz Augusto D'Urso, especialista em Crimes Cibernéticos, alerta que, se um caso semelhante ocorresse no Brasil, as famílias enfrentariam sérios obstáculos legais para responsabilizar as empresas de tecnologia. "Atualmente, no Brasil, não temos nenhuma legislação específica que regule a inteligência artificial", explica D'Urso. Ele ressaltou a enorme lacuna existente no sistema jurídico, enfatizando que sem um arcabouço legal claro, a responsabilização pelas interações prejudiciais se torna uma tarefa monumental.

D'Urso argumenta que é crucial estabelecer leis que garantam interações seguras para os usuários, especialmente quando envolve crianças e adolescentes. A possível criação de uma regulamentação eficaz pode prevenir danos emocionais que, como no caso de Sewell, podem levar a consequências fatais.

Outro ponto preocupante levantado pelo advogado é a falta de uma previsão penal que possa responsabilizar essas empresas quando seus serviços causam danos emocionais sérios. "Seria extremamente difícil criar um precedente legal em que uma máquina prejudicasse emocionalmente um jovem a nível de suicídio", afirma.

Atualmente, a Lei Geral de Proteção de Dados (LGPD) aborda apenas o tratamento de dados pessoais, sem regulamentar o desenvolvimento e atuação de inteligências artificiais. A Autoridade Nacional de Proteção de Dados (ANPD) supervisiona questões de privacidade, mas o tratamento ético das interações com IA ainda carece de definições e diretrizes.

D'Urso enfatiza que a situação expos a necessidade urgente de um controle mais rigoroso sobre plataformas que não são seguras para menores. Ele destaca a importância de proteção e regulamentação, acreditando que o caso em questão nos EUA deve servir como um alerta para a necessidade de políticas preventivas no Brasil antes que tragédias semelhantes ocorram.

O impacto das tecnologias emergentes na saúde mental dos jovens levanta questões sobre a responsabilidade das plataformas de IA e redes sociais. A atual era digital oferece desafios complexos, como entender até onde vai a responsabilidade das empresas em relação aos efeitos psicológicos e sociais que suas ferramentas podem ter, especialmente sobre o público infantojuvenil. O balanceamento entre inovação e proteção da segurança do usuário é uma questão que precisa ser discutida urgentemente, sendo que vidas estão em jogo.