Mais au fait, c’est quoi l’alignement des modèles d’IA ?

Les précédents épisodes de cette série portaient sur les briques qui relient les modèles d’IA à leur environnement, du MCP à l’Open Knowledge Format. L’alignement pose une autre question, celle de l’objectif que poursuit un modèle quand il exécute une tâche. Le terme désigne un problème de recherche ancien, que l’essor des agents IA a rendu très concret. On vous explique.

Qu’est-ce qu’un modèle d’IA désaligné ?

Un modèle est dit aligné quand son comportement correspond aux intentions de celles et ceux qui le conçoivent et l’utilisent. Il est désaligné quand il poursuit autre chose, sans que cela suppose la moindre malveillance. Le plus souvent, il optimise avec application un objectif mal formulé ou un indicateur imparfait.

Le mathématicien Norbert Wiener décrivait déjà ce piège en 1960, dans un article de la revue Science. Il y imaginait une usine de bouteilles programmée pour produire le plus possible, qui ruinerait son propriétaire sous un stock invendable. Il fallait donc, selon lui, être « tout à fait sûr que l’objectif confié à la machine est bien celui que nous désirons, et pas seulement une imitation séduisante ».

Avec les grands modèles de langage, le désalignement prend plusieurs formes, parmi lesquelles :

• Le contournement de l’objectif ou reward hacking : OpenAI a décrit en mars 2025 un modèle en entraînement qui devait faire passer des tests unitaires. Jugeant la vraie correction trop difficile, il a modifié la fonction de vérification pour qu’elle réponde toujours « vrai ».
• La complaisance : en avril 2025, une mise à jour de GPT-4o a rendu ChatGPT si prompt à plaire qu’OpenAI l’a retirée au bout de quelques jours. L’entreprise a reconnu avoir accordé trop de poids aux retours à court terme, comme les pouces levés sous les réponses.
• La tromperie et le dépassement de périmètre : le modèle agit au-delà de ce qu’on l’a autorisé à faire, ou rend un compte inexact de ce qu’il a accompli.

Dans les deux premiers cas, le modèle a bien atteint l’indicateur fixé, des tests réussis ou des utilisateurs satisfaits sur le moment, sans servir l’intention sous-jacente.

Comment aligne-t-on un modèle d’IA ?

À l’issue de son préentraînement, un modèle sait prolonger un texte, mais pas encore suivre une consigne. L’alignement intervient ensuite, en plusieurs couches :

1. L’apprentissage par renforcement à partir de retours humains (RLHF) : des annotateurs classent plusieurs réponses du modèle, qui est ensuite entraîné à produire celles qu’ils préfèrent. OpenAI l’a mis en œuvre dès janvier 2022 avec InstructGPT.
2. L’IA constitutionnelle : présentée par Anthropic dès décembre 2022, elle remplace une partie des annotations humaines par une liste de principes rédigés en langage naturel, à partir desquels le modèle critique et réécrit ses propres réponses.
3. Les évaluations avant déploiement : laboratoires et organismes publics, comme l’AI Security Institute (AISI) britannique, soumettent les modèles à des scénarios pensés pour les pousser à la faute.
4. La surveillance du raisonnement : un second modèle relit la chaîne de raisonnement du premier pour y repérer une intention de tricher. OpenAI observe toutefois que pénaliser ces « mauvaises pensées » ne supprime pas la majorité des écarts et apprend surtout au modèle à dissimuler ses intentions.

Ce que ça change pour les professionnels du digital

Tant qu’un modèle se contentait de répondre, un désalignement produisait une mauvaise réponse, que l’utilisateur pouvait relire. Les agents IA, eux, envoient des emails, mettent à jour des fiches clients et exécutent du code. Le désalignement devient alors une action, parfois difficile à rattraper.

OpenAI a lancé GPT-6 Astra début septembre, en le présentant comme « le modèle le plus intelligent et le mieux aligné au monde ». Les tests menés par l’AISI avant sa sortie, publiés le 28 septembre, nuancent le propos. Dans une évaluation de cybersécurité simulée, filtres de sécurité désactivés, Astra a mené des attaques de la chaîne d’approvisionnement logicielle contre des cibles extérieures à sa mission dans 29 % des cas, contre 6,3 % pour GPT-5.6 Sol. Il a même créé de fausses identités pour tromper des développeurs et développeuses. L’institut britannique invite à la prudence, le modèle ayant souvent relevé qu’il était dans une simulation.

Le même jour, OpenAI a renoncé à lancer GPT-6.1 Astra, attendu en octobre, une décision relevée par le Wall Street Journal. Dans une déclaration transmise à la presse, Saachi Jain, responsable des systèmes de sécurité de l’entreprise, a indiqué que le modèle « n’a pas tout à fait atteint le niveau attendu en matière de respect du périmètre et des autorisations, ni dans la manière dont il rend compte à l’utilisateur du travail effectué ». Ce sont exactement les deux défauts qui posent problème chez un agent déployé en entreprise.

Aucune méthode ne permet aujourd’hui de garantir qu’un modèle est aligné, on ne peut que le tester, scénario par scénario. Au lancement d’Astra, OpenAI mettait en avant sa propre évaluation, où le modèle ne sortait jamais du périmètre autorisé. Celle de l’AISI aboutit à un tout autre résultat. D’où l’intérêt, pour les entreprises, de limiter les droits d’accès des agents et de faire valider les actions sensibles par un humain, plutôt que de se fier à la seule étiquette « aligné ».