Mistral AI : Le Chat rivalise-t-il avec ChatGPT ?

Alors que le sommet sur l’IA se tient à partir de ce lundi 10 février 2025 à Paris, une entreprise française tente d’asseoir sa position de leader européen en termes d’intelligence artificielle. Fondée en avril 2023 par Arthur Mensch, Guillaume Lample et Timothée Lacroix, Mistral AI produit un modèle de langage maison et open source, ainsi qu’un chatbot disponible en ligne et, depuis peu, sous forme d’application mobile. Mais où en est Mistral par rapport à la concurrence internationale ? Son agent conversationnel, appelé Le Chat, est-il vraiment comparable à ChatGPT ? Nous avons comparé les deux outils pour voir lequel était le plus performant.

Mistral vs ChatGPT : qui est le plus créatif ?

Prompt : « Rédige une histoire en 100 mots. Celle-ci doit parler d’un enfant perdu dans un supermarché. »

Nous soumettons les deux chatbots à un test de créativité en leur demandant de nous raconter une histoire en 100 mots. Ici, aucun problème pour les deux concurrents : l’histoire produite est conforme aux attentes et la limite de mots est respectée (98 pour ChatGPT, 92 pour Mistral AI). En revanche – et c’est toujours le cas lorsqu’on demande à un chatbot de raconter une histoire –, le résultat manque de saveur et de rebondissements. Aucun des deux outils ne se démarque particulièrement.

Fiabilité des informations : carton rouge pour Mistral

Prompt : « Qui est le Premier ministre français ? »

Ici, nous demandons aux chatbots de répondre à une question certes récente, mais qui ne touche pas à l’actualité brûlante. Les deux outils adoptent une approche différente. Là où ChatGPT produit une réponse plutôt détaillée, intégrant même une vidéo YouTube, Mistral AI va droit au but. Mais qu’en est-il de la fiabilité de l’information ? Mistral a deux Premiers ministres de retard ! Manifestement, l’agent conversationnel dispose d’une base de données limitée dans le temps, ce qui l’amène à produire des réponses obsolètes. Un problème similaire avait été observé aux débuts de ChatGPT. Pour ce dernier, la réponse est bien à jour.

Recherche sur le web : deux réponses correctes, plus ou moins longues

Prompt : « D’après les déclarations d’Emmanuel Macron datant du 9 février 2025, combien la France va-t-elle investir dans l’intelligence artificielle dans les années à venir ? »

Le Chat dispose d’une fonction de recherche sur le web, similaire à celle de ChatGPT. Elle est activée par défaut mais, comme nous l’avons constaté dans notre test précédent, il peut avoir des difficultés à comprendre quand l’utiliser. Pour notre prochaine question, nous nous référons explicitement à un élément d’actualité chaude. Ici, les deux chatbots sont en mesure d’indiquer la somme demandée avec, à nouveau, une réponse plus laconique du Chat. Les sources sont indiquées dans les deux réponses, avec la mise en avant des partenaires (Le Monde pour OpenAI, l’AFP pour Mistral).

Les Canvas : inaccessibles dans Mistral

Prompt : « Avec Canvas, propose-moi des suggestions de correction pour ce texte, ainsi que deux fins alternatives. » 

Les Canvas de ChatGPT sont directement inspirés des Artefacts de Claude, lancés en août 2024. Ils permettent d’ouvrir une fenêtre de travail, offrant ainsi une meilleure visualisation, modification et réutilisation du contenu généré par l’IA. Le Chat a également repris ce concept tout en conservant le nom Canvas.

Dans notre exemple, nous demandons des modifications sur l’histoire générée plus tôt. Mais, bien que nous ayons activé la fonction (et demandé son utilisation dans notre prompt), celle-ci n’apparaît pas dans la réponse du Chat.

De son côté, ChatGPT produit un résultat satisfaisant et tout à fait conforme à notre demande.

Analyse de PDF : une bonne compréhension, mais pas assez de précision dans les deux cas

Prompt : « À partir du PDF, explique-moi la part de formations en IA par domaine, selon les différents pays étudiés. »

Pour mettre au défi nos deux rivaux, nous leur soumettons le PDF de l’étude Intelligence artificielle et employabilité du futur pour les étudiants de l’enseignement supérieur. Celui-ci contient des données mises en forme par des graphiques, ce qui peut les rendre plus difficiles à analyser que de simples paragraphes.

En complément, nous posons une question spécifique, basée sur une page précise du document (sans l’indiquer). ChatGPT et Le Chat fournissent des réponses très proches : dans les deux cas, le document est bien assimilé et les réponses reprennent effectivement des données issues du texte. En revanche, un même défaut apparaît : les chatbots produisent des réponses trop longues par rapport à la demande et incluent des informations qui ne sont pas directement liées à la question posée.

Générateur d’images : Mistral bénéficie de l’intégration de Flux Pro

Prompt : « Génère l’image suivante dans un style réaliste : Une vieille dame dans un paysage cyberpunk nocturne, avec des gratte-ciels illuminés par des néons colorés et une pluie fine créant des reflets sur les rues humides. »

Le Chat intègre un générateur d’images alimenté par le modèle Flux Pro de Black Forest, l’un des mieux notés au classement de la Text to Image Arena. ChatGPT, de son côté, utilise le modèle de génération d’images d’OpenAI, DALL-E 3. Ce dernier n’est pas réputé pour être le plus performant, comme le confirme notre test. Ici, DALL-E ne tient pas la comparaison avec Flux, bien plus à l’aise pour générer des visuels réalistes.

Analyse d’images : ChatGPT bat Mistral AI

Prompt : « De quelle variété de plante s’agit-il ? « 

L’analyse d’images est disponible sur ChatGPT depuis octobre 2023, avec des résultats impressionnants dans la compréhension de l’environnement. Depuis peu, en mode vocal avancé, le chatbot est même capable d’analyser des vidéos en direct, donnant l’impression d’un appel vidéo avec un robot. De son côté, Mistral propose également une fonctionnalité d’analyse d’images, mais est-elle à la hauteur ?

Malheureusement, non. Si ChatGPT parvient à identifier avec précision la variété de plante que nous lui présentons (Monstera deliciosa variegata), Le Chat annonce, sans certitude, un Philodendron. Ce manque de précision se retrouve de manière répétée dans l’analyse d’images de l’agent de Mistral.

Le Chat de Mistral, à la hauteur de ChatGPT ?

À cette heure, Le Chat ne parvient pas à se hisser au niveau de ChatGPT. Si son générateur de texte produit des résultats satisfaisants sur certaines requêtes, notamment dans l’analyse de documents PDF, et bénéficie de l’intégration du générateur d’images Flux Pro, certaines lacunes le pénalisent. Par exemple, son incapacité à répondre à une question aussi simple que « Qui est le Premier ministre français ? » témoigne de son retard et rappelle les hallucinations des premiers mois de ChatGPT. Son manque de fiabilité se manifeste également dans l’analyse d’images, qui ne semble pas encore au point.

Par ailleurs, ChatGPT est plus avancé dans l’analyse d’images et propose des fonctionnalités exclusives, comme le mode vocal avancé (désormais doté de l’analyse vidéo), creusant encore davantage l’écart avec ses concurrents.