Compar:IA : comment comparer deux modèles d’IA avec l’outil gouvernemental

En octobre 2024, l’État, via le ministère de la Culture et la Direction interministérielle du numérique, a mis en place la plateforme Compar:IA, un site vous permettant de comparer les réponses, en français, de deux IA génératives de manière anonyme.

Une plateforme de comparaison à l’aveugle

Compar:IA permet aux utilisateurs de comparer objectivement les performances de deux modèles de langage. En posant une simple question, deux IA génératives sont sélectionnées aléatoirement parmi les 23 modèles proposés par la plateforme, dont les plus populaires, tels que GPT-4o, DeepSeek v3 ou encore Gemini 1.5 Pro, mais aussi les modèles français de Mistral ou chinois d’Alibaba. Vous pourrez ensuite voter pour la réponse qui vous semble la plus pertinente, entre deux versions anonymisées. Si vous avez besoin de discuter davantage avec les modèles pour faire votre choix, vous pouvez envoyer autant de messages que vous le souhaitez. À la fin de la phase de comparaison, les deux modèles sont révélés.

Ce test comparatif mis en place par la start-up d’État Compar:IA veut sensibiliser le grand public, mais surtout les jeunes, à l’utilisation de l’intelligence artificielle. Avec ce système de comparaison, les utilisateurs se rendent compte que certains modèles fournissent des réponses erronées, les incitant ainsi à adopter une approche plus critique et prudente face aux contenus produits par l’IA.

Par ailleurs, en recueillant les préférences des utilisateurs francophones, elle produit des jeux de données essentiels, ce qui permet de contribuer à l’amélioration des futures intelligences artificielles en français.

Un outil pour comparer les coûts énergétiques des modèles de langage

Compar:IA est également doté d’une partie sur l’impact énergétique de la discussion. Vous pourrez, une fois les résultats dévoilés, observer l’énergie consommée par la discussion que vous avez eue avec les deux modèles d’IA. Cette consommation est calculée en wattheures, mais est aussi déclinée en CO2 émis, comparée à l’utilisation d’une ampoule LED ou au visionnage d’une vidéo en ligne.

Cela permet de sensibiliser le grand public à la consommation, parfois excessive, de l’intelligence artificielle en coût énergétique. Certains modèles dépassent l’équivalent de 40 minutes de vidéos en ligne pour une simple question.

Comment comparer les modèles d’intelligence artificielle ?

L’utilisation de la plateforme est simple et se déroule en plusieurs étapes :

• Rendez-vous sur le site officiel de Compar:IA, que vous pourrez retrouver à ce lien.
• Une fois arrivé sur le site, acceptez les modalités d’utilisation et cliquez sur Commencer à discuter.
• Vous allez être redirigé vers une nouvelle page sur laquelle vous pouvez parler avec les deux modèles de langage.
• Vous pouvez sélectionner deux modèles de votre choix afin de comparer les résultats de ceux que vous avez l’habitude d’essayer, ou opterpour l’aléatoire. Il est également possible de choisir au hasard deux modèles à faible impact énergétique, ou une IA avec peu de paramètres contre une IA plus performante..
• Une fois votre sélection faite, écrivez le texte de votre choix. En manque d’inspiration ? La plateforme peut vous aider en préparant des prompts pour vous.
• Il ne vous reste plus qu’à cliquer sur Envoyer et comparer les résultats.

Si les résultats ne vous conviennent pas, vous avez la possibilité d’apporter certaines précisions aux modèles pour que ceux-ci génèrent un nouveau texte.

À l’heure actuelle, les modèles sont incapables de citer leurs sources ou de traiter des sujets d’actualité. Il sont entraînés sur des ensembles de données statiques et ne peuvent pas interagir avec le web ou ouvrir des liens.