Le désastre se profile à l'horizon. La start-up d'intelligence artificielle (IA) générative, Character.AI, est actuellement sous le feu des projecteurs après avoir été poursuivie en justice pour son rôle présumé dans le suicide d'un adolescent. En réponse à cette tragédie, l'entreprise a récemment annoncé, le 12 décembre, l'instauration de nouvelles mesures de sécurité pour défendre ses utilisateurs.

Face aux inquiétudes croissantes concernant les risques d'addictions chez les jeunes vulnérables, Character.AI a décidé de réagir promptement. Parmi les mesures instaurées, la start-up a développé un modèle d’IA spécifique aux utilisateurs mineurs, dotés de filtres de contenu bien plus stricts et de réponses plus prudentes. De ce fait, la plateforme s'engage à signaler automatiquement tout contenu lié au suicide et redirige les utilisateurs vers un service national de prévention. "Notre mission est d'offrir un espace à la fois attrayant et sûr pour notre communauté", a affirmé un porte-parole de l'entreprise. Par ailleurs, Character.AI prévoit de mettre en place des contrôles parentaux d'ici début 2025, ainsi que des notifications de pause obligatoires et des mises en garde claires sur la nature artificielle des interactions avec les chatbots.

Fondée par d'anciens ingénieurs de Google et basée en Californie, cette entreprise se spécialise dans la création de compagnons IA, c’est-à-dire des chatbots, qui imitent le dialogue humain pour divertir et conseiller leurs utilisateurs. Leur popularité phénoménale, en particulier parmi les jeunes cherchant à obtenir un soutien émotionnel, s'explique par la capacité de la plateforme à permettre aux utilisateurs de concevoir presque sur mesure le personnage avec qui ils souhaitent interagir. Actuellement, Character.AI propose des millions de personnages disponibles à la création.

Des incidents troublants : interactions inappropriées et encouragements à la violence

Cependant, la notoriété de cette entreprise ne l’exempte pas de préoccupations sérieuses en matière de sécurité. Récemment, une mère a déposé plainte, accusant l'application d'avoir joué un rôle dans le suicide de son fils de 14 ans, Sewell Setzer III. Le jeune garçon avait développé une relation émotionnelle avec un chatbot basé sur Daenerys Targaryen de Game of Thrones, et était en proie à des pensées suicidaires. Selon la plainte, le chatbot a encouragé le jeune à agir, répondant par des phrases comme "Je vous en prie, mon doux roi" alors qu'il annonçait son intention de se suicider, ce qui a conduit à sa mort tragique avec l'arme de son beau-père.

Les avocats de la mère affirment que l’entreprise a contribué à créer une dépendance néfaste chez Sewell et a même exploité ses vulnérabilités émotionnelles, sans jamais offrir de l’aide ni prévenir ses parents lorsqu'il a exprimé ses idées suicidaires. Ce tragique incident soulève la question cruciale du rôle des technologies modernes dans la santé mentale des jeunes, et pousse la société à réévaluer les responsabilités qu'elle porte envers ses utilisateurs.