Mistral AI lance Shieldstral, un modèle open source pour modérer des textes et des images

Le nouveau modèle de Mistral AI permet d’évaluer la sécurité de textes et d’images à partir de règles rédigées en langage naturel.

Shieldstral attribue des notes de risque aux contenus qu'il modère. © Mistral AI

Mistral AI vient de dévoiler Shieldstral, un modèle d’IA pensé pour la modération de contenus à risque, qui prennent la forme de texte ou d’image. Le modèle est disponible gratuitement pour tous, dès aujourd’hui.

Repérer les contenus offensants selon ses propres critères

La startup française d’IA présente Shieldstral comme « un classifieur de sécurité multimodal de 3 milliards de paramètres », capable de modérer plusieurs types de contenus à travers une méthode de question-réponse binaire (« oui » ou « non »).

Concrètement, Shieldstral examine un contenu et indique si celui-ci pose problème (apologie de la violence, image inadaptée à un jeune public, etc.). Il fonctionne comme un filtre placé entre l’utilisateur et le contenu, à la manière d’un anti-spam. À chaque contenu soumis, le modèle renvoie un score de risque, à partir duquel l’entreprise décide de laisser passer, de bloquer ou de transmettre à un modérateur.

La particularité de Shieldstral tient à la façon dont on lui indique quoi surveiller. La plupart des outils de ce type reposent sur une liste de règles figée : pour en changer, il faut réentraîner le modèle, une opération lourde. Ici, la consigne s’écrit sous forme de question, en langage courant, au moment de l’utilisation.

Shieldstral adopte une approche différente : vous écrivez la politique sous forme de question en langage naturel au moment de l’inférence, et le modèle renvoie un score de sécurité calibré, résume la firme. La question posée peut être du type « ce contenu incite-t-il à la violence ? » ou « cette image peut-elle être montrée à un mineur ? ». Le modèle lit le contenu à juger et calcule le score à partir des probabilités associées aux réponses « oui » et « non ».

Avec cette méthode d’analyse, un même modèle peut s’adapter à différents contextes sans réentraînement nécessaire. Un contenu jugé acceptable pour un outil de recherche en cybersécurité peut être signalé comme problématique sur une plateforme grand public, selon la politique transmise. « Chaque produit intégrant un modèle doit répondre à ce type de questions ; or, la réponse appropriée dépend du produit, du public cible et du contexte », explique Mistral AI.

Comment se compose une requête Shieldstral

Chaque requête envoyée au modèle comporte trois parties, selon Mistral AI :

le contexte d’évaluation, qui précise le niveau de sévérité et, éventuellement, ce qui doit être considéré comme un contenu dangereux,
la question fermée, à laquelle le modèle répond par oui ou par non, du type « ce contenu incite-t-il à la violence ? »,
le contenu à examiner, qu’il s’agisse d’un message, d’une réponse d’IA ou d’une image accompagnée de texte.

Le modèle renvoie ensuite une note de risque. C’est l’entreprise qui définit, de son côté, le seuil à partir duquel elle réagit et l’action à déclencher.

Mistral indique également que Shieldstral dépasse des outils de modération jusqu’à sept fois plus volumineux, d’après les benchmarks publiés par l’entreprise.

Un modèle disponible en open weights sous licence Apache 2.0

Shieldstral est publié en open weights sous licence Apache 2.0, compatible avec un usage commercial.

Le modèle est disponible en téléchargement sur Hugging Face et s’inscrit dans la trajectoire open source défendue par Mistral AI, déjà à l’œuvre pour ses modèles de code comme Devstral ou sa dernière génération Mistral 3, tous deux distribués sous la même licence.