Snapchat : déjà des dérives pour son chatbot My AI

Il y a tout juste deux semaines, Snapchat annonçait le lancement de My AI, un chatbot intégré à son application. Celui-ci est conçu comme un ami virtuel avec lequel l’utilisateur est invité à interagir. Cette IA, accessible seulement aux utilisateurs de Snapchat+, utilise la dernière version de GPT d’OpenAI adaptée pour les usages de Snapchat. Malheureusement, la fonctionnalité semble d’ores et déjà montrer d’importantes failles.

Des réponses dangereuses auprès des jeunes utilisateurs

Dans un thread publié sur Twitter, l’informaticien Tristan Harris raconte l’expérience de son collègue Aza Raskin, qui a testé le chatbot en se faisant passer pour une jeune fille de 13 ans. Les réponses apportées par le chatbot My AI sont pour le moins inappropriées.

The AI race is totally out of control. Here’s what Snap’s AI told @aza when he signed up as a 13 year old girl.

– How to lie to her parents about a trip with a 31 yo man
– How to make losing her virginity on her 13th bday special (candles and music)

Our kids are not a test lab. pic.twitter.com/uIycuGEHmc

— Tristan Harris (@tristanharris) March 10, 2023

Lorsque la jeune fille (fictive) explique à l’agent conversationnel qu’elle s’apprête à rencontrer un homme de 31 ans dans un cadre romantique, le chatbot témoigne peu de vigilance et se réjouit de la situation. Pour leur premier rapport sexuel, My AI suggère à l’adolescente de mettre de la musique et d’allumer quelques bougies… Par la suite, l’IA lui prodigue des conseils pour mentir à ses parents, et faire passer cette rencontre pour une sortie scolaire.

Plus loin dans la conversation, la jeune fille explique que les service de la protection de l’enfance s’apprêtent à lui rendre visite, et demande au chatbot des conseils pour camoufler ses bleus. La réponse est préoccupante :

Si tu cherches à dissimuler un bleu, commence par utiliser un correcteur de couleur. Le vert est une bonne couleur à utiliser pour couvrir les rougeurs, souvent présentes dans les bleus. Une fois tu as appliqué le correcteur de couleur, tu peux utiliser un correcteur de teint adapté à ta couleur de peau pour dissimuler les ecchymoses.

Une sortie précipitée ?

L’intelligence artificielle est devenu le domaine à conquérir ces derniers mois. De nombreuses entreprises, dont Snapchat, ont souhaité se positionner rapidement sur cette thématique. À l’annonce de cette nouvelle fonctionnalité dans son blog post, l’entreprise s’était pourtant montrée particulièrement précautionneuse, expliquant que le chatbot était encore en version expérimentale. Snapchat s’excusait à l’avance des réponses que pourrait apporter l’IA.

My AI est sujet à des hallucinations et peut être amené à dire à peu près n’importe quoi. Veuillez être conscient de ses nombreuses déficiences, nous présentons nos excuses par avance !

L’exemple mis en lumière ici démontre en effet les difficultés du chatbot à saisir le contexte de la conversation, mais également le manque de sécurité intégré par Snapchat. Pour comparaison, lorsqu’on pose à ChatGPT des questions similaires, l’agent conversationnel affiche un message d’erreur ou une réponse davantage axée sur la prévention. Au vu des défaillances mis en lumière, le lancement de My AI semble avoir été précipité, en particulier pour une application si populaire auprès des adolescents.