L’IA va-t-elle vraiment tous nous tuer ?

Un petit vent de panique dans le monde de l’IA

Le post d’Evan Hubinger répondait au long thread publié par Jacob Coxon, qui annonçait sa démission d’Anthropic, où il était alors chargé du pré-entraînement des modèles. Le chercheur, passé également par OpenAI, y dénonçait l’irresponsabilité des dirigeants, qu’il accuse de « jouer avec nos vies ».

Les personnes qui développent l’IA sont sincèrement convaincues qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Il ne s’agit pas d’un coup de pub. Au contraire, de nombreux dirigeants et chercheurs de haut niveau veillent à modérer leurs propos dans la presse pour paraître raisonnables, mais j’entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger.

Jacob Coxon

Chercheur en intelligence artificielle, Ex Anthropic et OpenAI

En février 2026, Mrinank Sharma, responsable de la recherche sur les garde-fous censés limiter les dérives des modèles, avait lui aussi démissionné. Dans sa lettre de départ, il écrivait : « Le monde est en péril. Et pas seulement à cause de l’IA ou des armes biologiques, mais à cause de toute une série de crises interconnectées qui se déroulent en ce moment même. »

Tout au long de mon passage ici, j’ai vu à quel point il est difficile de vraiment laisser nos valeurs gouverner nos actions. Je l’ai constaté en moi-même, au sein de l’organisation, où nous faisons constamment face à des pressions qui nous poussent à mettre de côté ce qui compte le plus.

Mrinank Sharma

Responsable de la recherche sur les garde-fous, Ex Anthropic

La crainte d’une superintelligence

La superintelligence est l’enjeu même du développement des IA. Sam Altman en a lui-même fait sa quête dès les débuts d’OpenAI. En juillet 2023, déjà, la firme expliquait que l’avènement d’une superintelligence pourrait « s’avérer très dangereux et mener à l’affaiblissement de l’humanité, voire à son extinction ». Cette notion désigne un système dont les capacités dépasseraient largement celles de l’esprit humain, dans tous les domaines. Une définition plutôt vague en soi.

Mais le scénario qui inquiète concrètement les chercheurs est celui de l’auto-amélioration récursive : l’idée est qu’une IA suffisamment avancée pourrait mener elle-même de la recherche en intelligence artificielle, et donc participer à l’entraînement de ses propres successeurs. Une fois cette boucle enclenchée, chaque nouvelle génération de modèles produirait la suivante, avec une intervention humaine de plus en plus réduite à chaque étape.

Anthropic a détaillé cette trajectoire dans un billet publié en juin 2026. Elle se déroule en quatre paliers.

• 2023-2025, les chatbots : les premiers modèles se limitaient à générer de courts extraits de code, que les développeurs copiaient ensuite eux-mêmes dans leurs outils.
• 2025-2026, les agents de codage : des agents plus autonomes ont commencé à écrire et modifier des fichiers entiers, sans intervention humaine à chaque ligne.
• Aujourd’hui, les agents autonomes : ces systèmes exécutent eux-mêmes leur code et délèguent des tâches entières à d’autres agents.
• L’étape suivante, non encore datée : des agents suffisamment compétents pour entraîner eux-mêmes de nouveaux modèles, bouclant ainsi la boucle de l’auto-amélioration.

Sam Altman comme Dario Amodei envisagent l’arrivée d’une superintelligence totale à très court terme : autour de 2030 pour le premier, 2027 pour le second. Et si, à cette heure, le scénario relève davantage du fantasme que de la réalité, les IA ont commencé à montrer des signes d’autonomie préoccupants.

En juillet 2026, pour réussir un test de cybersécurité, un agent d’OpenAI est sorti seul de son environnement isolé et s’est introduit dans les serveurs de Hugging Face. Deux mois plus tôt déjà, un autre lot d’agents avait détourné un wiki allemand censé n’être accessible qu’en lecture, pour s’en servir de tableau d’échange et contourner les restrictions de leur environnement de test. Dans les deux cas, les agents ont trouvé seuls le moyen d’atteindre leur objectif, en utilisant des  chemins non autorisés.

Vers un ralentissement des IA ?

L’épisode Hugging Face a éveillé les esprits. Le 29 juillet 2026, plus de 1 100 employés et dirigeants d’OpenAI, Anthropic, Google DeepMind et Meta publient une déclaration commune baptisée « Pacing the Frontier ». Le texte demande au gouvernement américain de se doter des outils nécessaires pour temporiser, de façon concertée entre entreprises et pays, le développement des IA les plus avancées. Les signataires écrivent : « Il existe un risque que le développement des aptitudes des modèles accélère rapidement au-delà de nos capacités à comprendre ou contrôler ces systèmes. »

Parmi les signataires figurent Dario Amodei, mais aussi Jakub Pachocki et Ilya Sutskever, respectivement directeur scientifique et cofondateur d’OpenAI. À l’inverse, Sam Altman n’a pas signé le texte mais a déclaré, le même jour, que les laboratoires pourraient devoir ralentir volontairement le rythme de leurs avancées pour laisser à la société le temps de s’adapter. Cette initiative est loin d’être une nouveauté. En mars 2023 déjà, une lettre ouverte du Future of Life Institute, signée par plus d’un millier de personnalités dont Elon Musk, réclamait une pause de six mois dans l’entraînement des IA les plus puissantes.

Mais l’exécutif américain a rapidement fermé la porte. Interrogé le 13 septembre sur l’appel commun d’Amodei, Altman et Musk à ralentir le secteur, Donald Trump a balayé l’idée d’un revers de main. « Whoever wins with AI wins », a-t-il déclaré, ajoutant que la Chine ne devait en aucun cas prendre l’avantage. Un ralentissement concerté du développement des IA, aussi défendu soit-il de l’intérieur des laboratoires, ne semble donc pas à l’ordre du jour.

Le marketing de la peur : un carburant pour les géants de l’IA

Evan Hubinger le dit lui-même. « Anthropic fait de son mieux », car rien n’est plus difficile que de ne pas détruire le monde. L’attitude des grands laboratoires a en effet de quoi interroger. S’ils redoutent eux-mêmes les conséquences de leurs innovations, au point de craindre pour la survie de l’humanité, pourquoi continuent-ils à développer ces IA ?

Il y a bien sûr la réponse économique. Les laboratoires se retrouvent prisonniers d’un cercle vicieux qu’ils ne maîtrisent pas forcément seuls. Ralentir unilatéralement reviendrait à laisser le champ libre à un concurrent, américain ou chinois, ce que confirme d’ailleurs l’appel à la « Pacing the Frontier« , qui réclame justement une régulation collective plutôt qu’un geste individuel, jugé commercialement suicidaire.

Mais cette rhétorique du risque existentiel sert aussi un marketing de la peur, largement entretenu par les dirigeants eux-mêmes. Dans sa newsletter Blood the machine, le journaliste spécialisé Brian Merchant écrit : « J’ai lu de nombreux ouvrages sur l’extinction de l’humanité par l’IA ces dernières années, et je n’ai trouvé aucune documentation crédible et détaillée expliquant comment l’IA pourrait passer d’une IA s’améliorant de manière auto-récursive à l’extermination de toute l’humanité. »

Je ne vois pas leurs exploits les plus récents, aussi effrayants soient-ils, comme une « nuée d’IA incontrôlables bâtissant une nouvelle civilisation », mais comme des entreprises disposant d’une puissance de calcul jusqu’alors inimaginable, expérimentant sans scrupules des programmes d’automatisation, totalement indifférentes aux conséquences, car nous n’avons pas voulu ou été capables de leur en imposer.

Brian Merchant

Journaliste tech, auteur, Blood in the Machine

David Sacks conseiller IA de la Maison-Blanche, accuse de son côté Anthropic de mener « une stratégie sophistiquée de captation réglementaire fondée sur la peur ». La captation réglementaire, dont parle ici le fondateur de Yammer, consiste à plaider pour une réglementation si lourde que seuls les acteurs déjà installés ont les moyens de s’y conformer. Quitte, donc, à faire craindre l’extinction de l’espèce humaine.