Pourquoi ChatGPT refuse de dire « je ne sais pas »

Les hallucinations des intelligences artificielles – des réponses inventées par les IA mais présentées comme des faits – sont documentées depuis le lancement de ChatGPT. Si leur fréquence a diminué avec l’amélioration des modèles, elles semblent connaître une recrudescence depuis que ces derniers bénéficient d’un accès au web.

Mais pourquoi ces erreurs surviennent-elles ? L’équipe de chercheurs d’OpenAI s’est penchée sur la question à travers une étude intitulée Why language models hallucinate. On fait le point.

Hallucinations : pour ChatGPT, l’incertitude n’est pas une option

Le rapport démontre que les hallucinations apparaissent dès la phase de pré-entraînement. À ce stade, les modèles apprennent à prédire le mot suivant dans un texte, ce qui leur permet d’acquérir une bonne maîtrise de la grammaire, de l’orthographe et des tournures courantes, fondées sur des régularités statistiques. En revanche, pour des faits rares ou isolés, par exemple une information mentionnée une seule fois dans un corpus d’entraînement, il n’existe aucun schéma à reproduire : le modèle est alors contraint de deviner.

Ces erreurs sont ensuite accentuées par la manière dont les modèles sont évalués. Lors des tests de performance, les IA sont jugées en fonction de leur taux de bonnes réponses. Dans ce contexte, lorsqu’un modèle ne connaît pas la réponse à une question, il a statistiquement plus de chances d’obtenir un bon score en formulant une supposition plutôt qu’en reconnaissant son ignorance.

Imaginez un test à choix multiples. Si vous ne connaissez pas la réponse, mais que vous tentez votre chance, vous pourriez avoir raison. Laisser la case vide garantit un zéro. De la même manière, lorsque les modèles sont notés uniquement sur la précision, ils sont encouragés à deviner plutôt que de dire « Je ne sais pas », indique OpenAI.

Revoir l’évaluation des modèles

Pour limiter les hallucinations, OpenAI propose de repenser les critères d’évaluation des modèles. L’objectif est d’adopter une grille plus nuancée, qui sanctionne plus sévèrement les erreurs formulées avec assurance, tout en valorisant les abstentions ou les réponses exprimant une incertitude.

Il ne suffit pas d’ajouter quelques nouveaux tests tenant compte de l’incertitude. Les évaluations largement utilisées, basées sur la précision, doivent être mises à jour afin que leur notation décourage les suppositions. Si les principaux tableaux de bord continuent de récompenser les suppositions chanceuses, les modèles continueront d’apprendre à deviner, affirme OpenAI.

Dans cette logique, OpenAI distingue désormais trois types de réponses pour les questions à réponse unique : les bonnes réponses, les erreurs et les abstentions. L’abstention est considérée comme une forme d’humilité, préférable à une réponse fausse. Ce cadre a été utilisé pour comparer deux modèles, GPT-5-thinking-mini et o4-mini, avec des résultats révélateurs.

• GPT-5-thinking-mini : le modèle s’abstient plus souvent lorsqu’il n’est pas certain de la réponse. Cela réduit mécaniquement le nombre de bonnes réponses, mais limite surtout les erreurs. Il peut donc sembler moins performant si l’on ne regarde que le taux de réponses exactes, mais il est plus fiable, car il hallucine beaucoup moins.
• o4-mini : à l’inverse, le modèle répond presque systématiquement, même en cas de doute. Cela lui permet d’obtenir un peu plus de réponses correctes en valeur absolue, mais au prix d’un nombre d’erreurs nettement plus élevé.