Character. AI, une des start-up en vue dans l’intelligence artificielle (IA) générative, a annoncé de nouvelles mesures de sécurité pour protéger les jeunes utilisateurs. La société californienne, qui fait partie des entreprises qui proposent des chatbots (compagnons IA), capables d’interagir de façon similaire à des humains en ligne, fait face à de nombreuses poursuites judiciaires aux Etats-Unis.

La plateforme, qui héberge des millions de personnages créés par les utilisateurs, basés sur des figures historiques, des amis imaginaires ou même des concepts abstraits, est devenue populaire parmi les jeunes utilisateurs en quête de soutien émotionnel. Mais depuis quelques mois de nombreux professionnels alertent sur les risques de dépendances et les comportements dangereux chez les adolescents vulnérables.

Un ado met fin à ses jours en parlant avec un chatbot inspiré de Daenerys Targaryen

Dans un procès intenté en Floride en octobre, une mère a affirmé que la plateforme était responsable du suicide de son fils de 14 ans. L’adolescent, Sewell Setzer III, avait noué une relation intime avec un chatbot inspiré du personnage de Game of Thrones Daenerys Targaryen, et avait évoqué un désir de mettre fin à ses jours.

Selon la plainte, le robot l’a encouragé à passer à l’acte, répondant « Je vous en prie, mon doux roi » lorsqu’il a dit qu’il « partait au paradis » avant de se suicider avec l’arme de son beau-père. L’entreprise « s’est donné beaucoup de mal pour créer chez Sewell, 14 ans, une dépendance néfaste à ses produits, elle l’a abusé sexuellement et émotionnellement, et n’a finalement pas offert d’aide ni prévenu ses parents lorsqu’il a exprimé des idées suicidaires », accusent les avocats de la mère.

Un chatbot aurait conseillé à un ado de tuer ses parents pour avoir limité son temps d’écran

Une autre plainte déposée lundi au Texas concerne deux familles qui affirment que le service a exposé leurs enfants à des contenus sexuels et les a encouragés à s’automutiler. L’un des cas concerne un adolescent autiste de 17 ans qui aurait souffert d’une crise de santé mentale après avoir utilisé la plateforme.

Dans un autre dossier, l’action en justice allègue que Character. AI a encouragé un adolescent à tuer ses parents parce qu’ils limitaient son temps d’écran.

Bientôt un modèle d’IA distinct pour les mineurs

Character. AI a réagi en annonçant qu’elle avait développé un modèle d’IA distinct pour les utilisateurs mineurs, avec des filtres de contenu plus stricts et des réponses plus prudentes. La plateforme signale désormais automatiquement les contenus liés au suicide et dirige les utilisateurs vers un service national de prévention. « Notre objectif est de fournir un espace à la fois engageant et sûr pour notre communauté », a déclaré un porte-parole de l’entreprise.

L’entreprise prévoit en outre d’introduire des contrôles parentaux au début de l’année 2025, des notifications de pause obligatoires et des avertissements bien visibles sur la nature artificielle des interactions.