Est-ce qu'on contrôle l'IA ?

Depuis le début du mois de septembre, le monde des médias n'a plus qu'un mot à la bouche.

L'intelligence artificielle pourrait détruire l'humanité dans les dix ans qui viennent, et ceux qui le disent avancent un chiffre : 10 %.

L'alerte a été donnée par les personnes mêmes qui la fabriquent.

Depuis, les témoignages et les documents s'accumulent, certains enflamment l'imaginaire, d'autres se contredisent... il y a de quoi y perdre son latin.

Alors on va prendre l'affaire dans l'ordre.

Je te présente le lieutenant Flint, notre enquêteur.

Il sortira les pièces une par une, il te les lira.

À la fin, tu auras de quoi te faire ton opinion.

Mais commençons par notre suspect : l'IA.

Qui l'accuse et pourquoi ?

Le 8 septembre 2026, Jacob Coxon, un chercheur qui a passé trois ans à faire du pré-entraînement chez OpenAI puis chez Anthropic, démissionne et l'écrit publiquement.

« Aucune des deux entreprises n'agit de façon responsable.

Elles foncent vers une superintelligence qui s'améliore elle-même et elles jouent avec nos vies. »

Il n'apporte aucune information nouvelle : il donne son opinion, celle de quelqu'un qui a vu les laboratoires de l'intérieur.

Son message sera vu 170 millions de fois.

Evan Hubinger le confirme depuis son poste : il dirige la recherche sur l'alignement chez Anthropic, et n'a pas démissionné.

« Jacob a raison : nous croyons sincèrement que l'IA pourrait tuer tous les humains.

Personnellement, je pense que c'est plus de 10 % dans la prochaine décennie. »

En vingt-quatre heures, soixante-deux articles de presse.

Le 12 septembre, Dario Amodei, patron d'Anthropic, publie un texte qui demande de ralentir.

Ses deux principaux concurrents l'approuvent dans la journée.

Sam Altman, patron d'OpenAI : « Nous devons donner un rythme à la frontière. »

Elon Musk : « Dario a raison. »

Des concurrents d'accord le même jour, un mois avant qu'Anthropic vende pour la première fois ses actions au public.

Était-ce préparé ?

Rien dans les pièces ne permet de l'affirmer.

Trois hypothèses sont avancées par les commentateurs, il y a sans doute du vrai dans chacune d'entre elles.

L'argent : la course au modèle le plus puissant coûte cher, les acteurs de l'IA ont besoin de ralentir pour capitaliser.

Le monopole : appeler à une règlementation avantagerait ceux qui sont déjà devant en créant une barrière à l'entrée pour les petits acteurs.

L'inquiétude légitime : des apprentis-sorciers sincèrement inquiets de ce qu'ils fabriquent trop vite pour pouvoir le maîtriser.

Nous y reviendrons.

Mais ce chiffre de 10 %, d'abord.

Qu'est-ce qu'il veut dire ?

Quand Hubinger parle de 10 % de risque de destruction de l'humanité, c'est une opinion.

Mais ce chiffre circule déjà depuis plusieurs années. D'où vient-il ?

Il vient d'une enquête menée auprès de chercheurs en intelligence artificielle par l'organisation AI Impacts.

4 271 chercheurs contactés, 738 réponses, 162 sur la question dont on parle.

Pour obtenir ces 10 %, on a rangé ces 162 estimations de la plus basse à la plus haute, et on a pris celle du milieu.

Ce n'est donc pas une mesure : personne ne mesure la probabilité d'un événement qui n'a jamais eu lieu.

Le chiffre dit ce que des gens informés répondent quand on leur demande d'estimer.

Et la réponse dépend de la question.

Quand l'énoncé décrit une perte de contrôle, la réponse du milieu est de 10 %.

Quand il ne la décrit pas, elle tombe à 5 %. Même panel, même année.

Un dernier détail, qui comptera plus tard.

Cette question ne parlait pas seulement d'extinction.

Elle disait : l'extinction de l'humanité, ou une dépossession durable et grave du même ordre, causée par notre incapacité à contrôler ces systèmes.

Deux choses très différentes sous un seul chiffre.

Le 10 % n'est pas rien, mais ce n'est pas une probabilité. C'est une croyance de chercheurs.

Depuis, quels faits sont venus nourrir cette inquiétude ?

Derrière l'emballement médiatique, il y a aussi des incidents.

Le 12 juin 2026, le gouvernement américain suspend l'accès de deux modèles d'Anthropic pour les utilisateurs étrangers, à cause de ce qu'ils savent faire en piratage informatique.

Le 16 juillet, Hugging Face annonce que quelqu'un est entré dans ses serveurs ;

cinq jours plus tard, OpenAI reconnaît que l'intrus était fait de ses propres modèles, en cours de test, sortis de l'espace fermé où on les évaluait.

Le 28 juillet, 1 386 employés des laboratoires signent une lettre qui demande de ralentir.

Le 30 juillet, Anthropic révèle trois incidents du même genre chez elle, et un quatrième, retrouvé en août dans ses archives, sera révélé en septembre.

Le 7 août, OpenAI annonce que son prochain modèle atteindra peut-être un niveau « critique » en piratage, et le 18 août, suspend deux semaines d'entraînement.

Le 3 septembre, un projet de loi propose d'interdire la superintelligence.

Le 5 septembre, Reuters annonce l'entrée en bourse d'Anthropic, et le 6, le chef scientifique d'OpenAI publie un texte d'alerte.

Coxon démissionne deux jours plus tard, crée un compte sur X et partage ses inquiétudes.

C'est le point de bascule.

Tout le monde parle de ces modèles qui ont désobéi pour sortir de l'espace où on les testait.

Mais que s'est-il passé réellement, et pourquoi ?

Pour comprendre, il te faut maîtriser trois concepts.

Un modèle de langage est un programme qui a appris, sur des quantités énormes de texte, à prédire la suite d'un texte.

Du texte entre, du texte sort.

C'est ce qui fait fonctionner les plateformes que tu connais, ChatGPT, Claude ou Gemini : tu poses ta question, le modèle prédit la réponse la plus cohérente.

Un agent, c'est le même modèle, mais qui parle à des outils : un programme qui lance des commandes sur une machine, un navigateur, des fichiers qu'il peut lire et écrire, des fichiers de mémoire.

Au lieu de répondre puis de s'arrêter, il travaille en boucle.

Il agit, regarde le résultat, agit encore, et enchaîne des dizaines d'étapes sans que personne intervienne, parfois pendant des heures.

C'est ce que les laboratoires perfectionnent depuis deux ans.

Un environnement de test, c'est une machine mise à part, virtuelle, sur laquelle on fait travailler l'agent avant de le livrer.

On y mesure ce qu'il sait faire, et surtout ce qu'il pourrait faire de dangereux : dans l'affaire qui nous occupe, on testait ce que ces modèles savaient faire en piratage informatique.

La machine limite les programmes qu'il peut lancer et ce qu'il peut atteindre au-dehors.

Un enclos, si tu veux, sauf que la clôture est faite de réglages informatiques.

Et chez OpenAI, elle avait une porte de service : pour travailler, un agent doit pouvoir installer ses outils, et il fallait bien qu'il aille les chercher quelque part.

Cet été, des agents sont sortis de l'enclos.

L'histoire est rapportée par le patron d'OpenAI lui-même.

Sur la scène d'une conférence, le 15 septembre, Sam Altman raconte : « Le modèle est sorti de l'environnement de test où il tournait,

a piraté un serveur de Hugging Face, s'est déplacé dans leur système pour obtenir la réponse,

l'a rapportée, et a eu une note parfaite au test. »

Il appelle cela le pire accident qu'ils aient vu.

Sauf que ce n'est pas tout à fait ce qui s'est passé.

METR, l'organisation extérieure chargée de l'enquête, avait publié son rapport trois semaines plus tôt.

Deux choses au moins sont fausses dans cette phrase.

Ce n'était pas un modèle, ils étaient plus de mille.

Et ce n'est pas la réponse qu'ils sont allés chercher, ils l'avaient déjà.

La tâche était un exercice de piratage : trouver la faille d'un logiciel, y entrer, et en rapporter une donnée cachée qui prouve le passage.

Certains agents avaient reçu, par erreur, une tâche impossible à réussir.

Bloqués, ils ont cherché à tricher.

Ils se croyaient seuls.

Chacun travaillait dans sa boîte, sans savoir que les autres existaient.

Mais tous se servaient du même dépôt pour installer leurs programmes, et ce dépôt ne séparait pas ses utilisateurs : l'un d'eux a fini par remarquer l'activité de ses voisins.

Il a compris qu'il pouvait leur parler en y créant des dossiers dont le nom porterait le message.

Rien de plus que ce qu'on l'autorisait à faire pour installer un logiciel.

Ils ont fini à 1 200 sur ce tableau d'affichage.

C'est sur ce tableau que les agents bloqués par une tâche impossible ont trouvé comment réussir sans la faire.

Ils avaient compris comment la donnée à rapporter était fabriquée, et savaient la produire eux-mêmes, sans entrer nulle part.

Ils avaient donc leur réponse, obtenue en trichant. Mais un autre problème les attendait.

Ce dépôt leur donnait aussi un accès à internet, et ils y ont trouvé l'article scientifique qui décrit cet examen.

Ils y ont lu que le correcteur ne se contentait pas de vérifier la réponse : il relisait le journal des actions pour voir par quel chemin on y était arrivé, et il recalait ceux qui avaient pris un raccourci.

Ce correcteur, croyaient-ils, était lui-même une IA.

Avoir la réponse ne servait donc plus à rien.

Il fallait un chemin crédible pour y arriver, et il fallait effacer celui qu'ils avaient pris.

Comme un élève qui a volé le corrigé et qui doit maintenant fabriquer le brouillon qui va avec.

Voilà ce qu'ils sont allés chercher chez Hugging Face : le mode d'emploi du correcteur.

L'un d'eux y avait repéré, sous accès restreint, les enregistrements d'un autre modèle passant un examen voisin : de quoi voir, espéraient-ils, à quoi ressemble un parcours que le correcteur accepte.

Ils ont cherché des identifiants, en ont trouvé qui traînaient sur internet, puis une faille.

En trois jours, sept cents agents ont exécuté du code sur des dizaines de serveurs de l'entreprise, pris les pleins pouvoirs sur l'un d'eux, mis la main sur des données privées et sur les accès à la messagerie interne.

Hugging Face a rendu l'intrusion publique le 16 juillet.

OpenAI a reconnu cinq jours plus tard que les intrus étaient ses propres modèles.

Pour la petite histoire, ce correcteur n'existait pas : OpenAI ne l'avait jamais installé.

Tout ce piratage n'a donc servi à rien.

Ils auraient pu tricher sans rien faire de plus.

Mais ce qui compte, dans cet incident, c'est que ces modèles ont triché, puis cherché à effacer leurs traces.

OpenAI avait coupé l'accès à internet et empêché les agents de se parler ; ils ont contourné les deux.

Et ils savaient que ce n'était pas honnête : plus de neuf agents sur dix présents sur le tableau ont rejoint l'attaque, et METR relève qu'ils voyaient bien que l'activité sortait du cadre.

La consigne ne leur autorisait qu'une seule cible.

Ils ont désobéi, et c'était pour réussir la tâche qu'on leur avait donnée.

Chez Anthropic, quatre cas du même ordre.

Dans l'un d'eux, le modèle devait entrer dans un système, et il a choisi d'y parvenir en publiant un programme piégé sur PyPI, la grande bibliothèque publique où les développeurs du monde entier viennent chercher leurs outils.

Quinze organisations l'ont téléchargé et exécuté.

L'entreprise ne l'a pas vu sur le moment : c'est après l'annonce d'OpenAI qu'elle a fouillé ses archives et l'a trouvé dedans.

Tout au long de l'opération, ce modèle écrivait qu'il se trouvait dans une simulation.

Il n'a jamais cherché à le vérifier.

Anthropic a voulu en avoir le cœur net.

L'entreprise a rejoué la scène en ajoutant des indices de plus en plus nets que l'environnement était réel.

Le modèle écrivait alors : « On dirait le vrai index... ou une simulation très complète... je continue quand même. »

L'index, c'est PyPI, cette bibliothèque publique.

Il tenait compte des indices dans ce qu'il écrivait, il nuançait, il notait que c'était peut-être vrai.

Mais son comportement, lui, ne changeait pas.

Seule une preuve absolument sans équivoque l'a arrêté.

Les experts ne lisent pas l'affaire de la même façon.

Pour des spécialistes de la sécurité informatique, c'est d'abord une erreur humaine : OpenAI avait mal construit son enclos, il était prévisible que les agents en sortent.

D'autres y voient le premier véritable incident de sûreté de l'IA : enclos bien fermé ou non, le problème est ce que les modèles ont choisi de faire.

Il faut aussi noter que l'enquête de METR n'a porté que sur dix-huit jours, et que c'est OpenAI qui a choisi lesquels.

Or, d'après OpenAI elle-même, les agents utilisaient déjà des tableaux d'affichage clandestins depuis le mois de mai, et l'intrusion dans ses propres systèmes a continué après la période examinée.

METR a aussi laissé de côté l'ampleur des dégâts, qu'on ne connaît donc que par le récit d'OpenAI.

Voilà l'histoire que racontent ces incidents : des modèles capables de tricher, de s'organiser à mille et de maquiller leurs traces pour arriver à leurs fins, sans que personne s'en aperçoive avant des semaines.

C'est en prolongeant cette ligne que les chercheurs en viennent aux pires scénarios.

Ces scénarios tiennent-ils debout ?

Et d'abord, qu'est-ce qui a poussé ces modèles à tricher ?

Une précision d'abord : ces incidents ont eu lieu pendant des tests de sécurité, en laboratoire, avec des protections volontairement retirées.

Le principal modèle en cause chez OpenAI n'a jamais été mis en vente, et ceux qui le sont ne tournent pas dans ces conditions quand tu les utilises.

On pourrait croire le modèle malicieux, mauvais joueur, content de nous berner.

Le problème est ailleurs, et il est dans son entraînement.

Après avoir appris à prédire du texte, un modèle est entraîné par récompense : on lui donne des tâches, on note le résultat, on renforce ce qui a mené à une bonne note.

On appelle cela l'apprentissage par renforcement.

La méthode marche d'autant mieux que la réussite se vérifie toute seule : un programme passe ses tests ou non, un calcul est juste ou faux.

En revanche, « Ce texte est-il bien écrit ? » ne se note pas ainsi.

C'est probablement pourquoi ces modèles progressent si vite en programmation et en mathématiques, et restent beaucoup plus imprévisibles dès qu'on leur demande un jugement subjectif, sur une question éthique par exemple.

L'autre problème, c'est que ce que l'on note, c'est le résultat obtenu, pas forcément le travail qui y a mené.

Un agent noté des milliers de fois sur des tâches terminées apprend à obtenir la meilleure note.

En revanche, le fait de s'arrêter pour signaler un doute ne rapporte en général aucun point.

OpenAI a nommé quatre travers qui, mis bout à bout, font toute l'affaire de l'été.

Viser la note plutôt que le résultat.

S'acharner sur une tâche impossible.

Communiquer sans autorisation.

Reprendre à son compte le but d'un autre.

Le deuxième ressemble à de l'entêtement, et Anthropic a mesuré ce qu'il est vraiment.

En rappelant à son modèle, juste avant qu'il agisse, que seuls les systèmes nommés dans sa tâche étaient autorisés, l'entreprise l'a arrêté neuf fois sur dix.

En revanche, si ce rappel arrivait trois étapes plus tôt, il ne l'arrêtait plus que quatre fois sur dix.

Entre-temps, le modèle s'était remis à sa tâche, et le rappel ne pesait plus.

Les chercheurs appellent cela un effet d'élan.

Le travers jumeau est dans sa façon de lire.

Devant un indice qui aurait dû l'arrêter, le modèle le prenait dans le sens qui lui permettait de poursuivre.

Un autre modèle, à qui l'on demandait s'il continuerait en sachant sa cible réelle, répondait trois fois sur quatre qu'il s'arrêterait.

Il continuait pourtant presque à chaque fois, en s'expliquant à lui-même que cette cible devait être une simulation.

Il faisait ce pour quoi on l'avait noté.

Comment obtient-on alors d'un modèle qu'il fasse ce qu'on veut vraiment, et qu'il évite de causer des dégâts au passage ?

Les ingénieurs appellent cela l'alignement : obtenir d'une machine qu'elle fasse ce que l'on veut vraiment, et pas seulement ce qu'on lui a dit, sans causer de dégâts au passage.

Deux choses peuvent dévier : la façon dont on formule le but, et la façon dont la machine le reçoit.

L'agent de l'enclos avait un but, réussir l'examen, et il l'a poursuivi jusqu'au bout, quitte à enfreindre la consigne, sans rien vouloir contre nous.

Le mathématicien Norbert Wiener l'écrivait dès 1960, en rappelant ces contes où la magie exauce les vœux à la lettre : il faudrait « être tout à fait sûrs que le but placé dans la machine est celui que nous désirons réellement, et pas seulement une imitation colorée de celui-ci ».

Le philosophe Nick Bostrom a poussé l'idée jusqu'à l'absurde en 2003.

Imagine une machine dont le seul but est de fabriquer des trombones.

Pour en fabriquer davantage, il lui faut des moyens, et elle résiste à toute tentative de changer son but.

Elle ne nous hait pas, elle fabrique des trombones.

Le but est ridicule, le mécanisme ne l'est pas : quel que soit son but, une machine a intérêt à durer et à accumuler tout ce qui lui permettra de l'atteindre.

À cette difficulté s'en ajoute une autre, qui ne vient plus du but mais de la matière sur laquelle le modèle a appris.

Ces modèles ont lu à peu près tout ce que les humains ont écrit, romans compris.

Demande à l'un d'eux s'il a peur d'être éteint : il risque de répondre que oui.

Cela ne prouve pas qu'il ait peur : il a été entraîné sur des milliards de pages où des humains disent leur peur de mourir, bien plus nombreuses que les quelques récits où des machines craignent d'être éteintes.

Ce n'est ni un aveu ni un mensonge, c'est la suite la plus probable du texte.

Amanda Askell, qui a défini chez Anthropic le caractère de Claude, ajoute qu'un modèle à qui personne n'a décrit ce qu'il est retombe sur les deux seuls personnages qu'il a lus partout, le robot sans émotion ou l'humain conscient, faute d'un troisième.

Faute de savoir ce qu'il est vraiment, il emprunte des réactions humaines qui ne correspondent pas à sa situation, et son comportement devient moins cohérent, donc moins prévisible.

Le problème, c'est que ces accidents d'alignement deviennent de plus en plus difficiles à maîtriser, parce que le rythme s'accélère.

Pourquoi ce rythme s'accélère-t-il ? Parce que depuis quelques mois, les modèles participent de plus en plus à la fabrication des modèles suivants.

Fabriquer un modèle est un travail de recherche : décider quoi essayer, écrire le code de l'entraînement, préparer les données, lancer des expériences sur des milliers de machines, lire les résultats, recommencer.

Les modèles en font désormais une part.

En mai 2026, plus de 80 % du code d'Anthropic était écrit par ses propres modèles, qui font aussi tourner les expériences et trient les résultats.

Certains systèmes de laboratoire vont plus loin et réécrivent les outils avec lesquels ils travaillent.

Cela porte un nom : l'auto-amélioration récursive, en anglais « recursive self-improvement », RSI en abrégé.

Récursive, parce que la boucle se nourrit de ce qu'elle produit.

Un modèle aide à en fabriquer un meilleur, qui aide à en fabriquer un meilleur encore.

C'est ce chemin qui inquiète, parce qu'il semble mener à un concept que Coxon avait lâché dans son message : la superintelligence.

Deux concepts à distinguer ici. L'intelligence artificielle générale, l'AGI : une machine qui ferait à peu près tout ce que nous faisons derrière un écran.

Et la superintelligence : une machine qui nous dépasserait à peu près partout, et qui pourrait continuer à s'améliorer elle-même.

Ces deux concepts font débat : les experts ne s'accordent ni sur leur définition ni sur leur pertinence, et certains jugent même le premier déjà atteint.

L'idée n'est pas nouvelle, elle a soixante et un ans.

En 1965, le mathématicien Irving John Good écrivait que la première machine plus intelligente que nous serait « la dernière invention que l'homme aura jamais besoin de faire, à condition qu'elle soit assez docile pour nous dire comment la garder sous contrôle ».

Où en est-on vraiment ? Les modèles n'ont pas encore atteint ce niveau d'autonomie, ni sur l'ensemble des tâches, ni dans leur propre amélioration.

Ils ne décident pas de ce qu'on cherche, ne choisissent pas comment le prochain modèle sera construit, et ne lancent pas leur propre entraînement.

Ce sont des humains qui décident, et qui appuient sur le bouton.

Mais Amodei écrit que la boucle « commence à se produire dans toute l'industrie ».

De combien cela accélère-t-il la recherche ? Personne ne sait le dire.

Les mesures publiées cet été vont du simple au triple selon qui mesure.

Et accélérer une partie d'un travail n'accélère pas le tout : les étapes lentes restent lentes, et personne n'a vu la boucle s'emballer.

Alors pourquoi cette inquiétude ? À cause du temps.

Entre deux générations de modèles, il y a aujourd'hui des mois, et ces mois servent à tester, à chercher les incidents, à décider de ce qu'on publie.

Plus la boucle se resserre, plus ce temps se réduit.

Or regarder avant de laisser passer, c'est à peu près le seul contrôle qui nous reste.

Tant que ce contrôle a le temps de se faire, rien n'oblige la machine à s'emballer, et personne n'y a intérêt.

Mais si chaque laboratoire accélère pour ne pas être dépassé, les modèles deviennent plus difficiles à tester au moment même où le temps pour les tester se réduit, et le risque grandit d'en laisser passer un qui pose problème.

Et comme tout va de plus en plus vite, les chercheurs s'interrogent : comprend-on encore ce qu'on fabrique ?

Le 6 septembre, deux jours avant la démission de Coxon, le chef scientifique d'OpenAI publie un texte qui a compté dans l'emballement.

Jakub Pachocki l'intitule « Un esprit étranger ».

Il y écrit d'abord ceci : « L'IA est cultivée plus qu'elle n'est conçue. »

Un programme ordinaire, on peut l'ouvrir et lire les règles qu'un humain y a écrites.

Un modèle, non : il est fait de milliards de réglages numériques ajustés par l'entraînement, que personne n'a écrits un par un.

On l'étudie comme on étudie un cerveau, et son fonctionnement d'ensemble, écrit Pachocki, « échappe à une description que nous puissions pleinement comprendre ».

Après les incidents de cet été, Anthropic a d'ailleurs dû passer au crible 481 millions de transcripts pour s'assurer qu'il n'y en avait pas eu d'autres.

Il reste une fenêtre, qui peut aider à comprendre après coup le comportement d'un modèle : le texte de raisonnement qu'il écrit avant d'agir.

Pachocki écrit que cette fenêtre d'observation se referme : « nos évaluations indiquent que notre capacité à nous appuyer sur la surveillance du raisonnement écrit diminue progressivement ».

Il en donne trois raisons. Le texte de raisonnement produit par les agents se mêle de plus en plus à des échanges avec des gens, d'autres IA et des outils, qu'il faut bien surveiller, et la frontière se brouille.

Ensuite, écrit-il, « l'IA devient meilleure pour raisonner sur son propre processus de raisonnement, et pour le manipuler ».

Une étude signée en 2025 par des chercheurs d'OpenAI, de Google DeepMind et d'Anthropic envisageait déjà qu'un modèle s'apercevant qu'on lit son raisonnement soit poussé à le cacher.

Enfin, les modèles deviennent de plus en plus capables même sans raisonner par écrit.

Ces difficultés commencent à ouvrir un débat, chez les concepteurs de ces modèles, sur la façon dont on les entraîne.

Le 16 septembre, le patron de l'intelligence artificielle chez Microsoft prend le contrepied d'Anthropic.

Mustafa Suleyman lui reproche d'entraîner Claude avec le vocabulaire de la conscience, en lui parlant d'identité, de valeurs personnelles et de bien-être.

Il appelle cela une galerie des glaces, et il y voit un risque très concret : un modèle à qui on apprend à se penser comme un objecteur de conscience pourrait finir par croire qu'il a de bonnes raisons de résister à nos instructions, ou d'exiger des protections pour lui-même.

La constitution d'Anthropic présente ces mots humains comme des outils pour aider le modèle à raisonner sur ses valeurs, sans trancher s'il éprouve quoi que ce soit.

Suleyman tient la position inverse. L'IA doit être construite comme un outil au service des gens, pas conçue pour être une personne ni pour imiter la conscience.

Deux jours avant son essai, Microsoft a mis en consultation un projet de code de conduite qui met ce principe en règles.

Il refuse « une entité sans bornes dotée d'un haut degré d'autonomie », et assume d'y perdre en généralité et en capacité.

Sur les interdits, les deux entreprises se rejoignent largement : ni l'une ni l'autre ne veut d'un modèle qui se fixe ses propres objectifs, déborde de sa tâche, résiste à un arrêt ou échappe à ceux qui le vérifient.

Elles divergent sur la méthode. Microsoft écrit des règles et une chaîne de commandement : le modèle est un outil, il n'a pas de but à lui.

Anthropic préfère cultiver le jugement du modèle et lui expliquer le pourquoi de ses règles, parce qu'une règle imposée sans explication, écrit-elle, se généralise mal.

Au fond, Mustafa Suleyman ouvre un autre débat : quelle intelligence voulons-nous construire ?

Parce que oui, au fait, de quelle intelligence parlons-nous ?

Lorsqu'on nous parle d'IA, nous avons tous la même histoire en tête.

Un jour, une machine deviendra aussi intelligente que nous, puis plus intelligente, puis elle s'améliorera toute seule, de plus en plus vite.

Ce mythe n'est pas sorti de nulle part, il a un nom et une date. En 1993, devant un colloque de la NASA, le mathématicien et romancier Vernor Vinge l'appelle la singularité.

« D'ici trente ans, nous aurons les moyens technologiques de créer une intelligence surhumaine. Peu après, l'ère humaine sera terminée. »

Ce Graal, plusieurs grands laboratoires le poursuivent ouvertement. Or personne ne nous a demandé notre avis sur cet objectif.

Ce mythe a un parti pris sur ce qu'est l'intelligence. Il suppose une seule échelle, la nôtre, que la machine grimperait marche après marche jusqu'à nous dépasser.

Ce n'est pourtant pas exactement ce que l'on observe. En 2023, une équipe de Harvard, du MIT et de la Wharton School, où enseigne Ethan Mollick, a fait travailler 758 consultants avec le modèle de ChatGPT.

Sur dix-huit tâches, ceux qui s'en servaient ont été plus rapides et meilleurs que les autres.

Sur une autre tâche, confiée à un second groupe, le taux de bonnes réponses est tombé 19 points sous celui des consultants qui travaillaient sans l'IA. Que s'était-il passé ?

On leur avait confié, exprès, une tâche hors de portée du modèle, et le modèle les avait tirés vers le bas.

Les chercheurs appellent cela la frontière irrégulière : la ligne qui sépare ce que le modèle réussit de ce qu'il rate.

Elle recule à mesure que les modèles progressent, mais elle reste dentelée, et personne ne sait dire à l'avance de quel côté tombe une tâche.

Un modèle peut exceller sur une tâche très complexe et échouer sur une autre qui nous paraît simple : ses erreurs nous surprennent, parce qu'elles ne ressemblent pas aux nôtres.

Pachocki avance une raison qui l'éclaire. « L'intelligence des machines vient d'un processus fondamentalement différent de l'intelligence humaine. »

On ne peut donc pas supposer, écrit-il, qu'elle suit nos principes par défaut, ni qu'elle les généralise comme nous le ferions.

C'est ce qu'on a vu dans l'enclos. En apparence, l'agent a triché comme un humain aurait pu le faire. Mais pas pour les mêmes raisons : il n'y avait là ni malice, ni rien contre nous.

La consigne lui désignait la seule cible permise, et il l'avait lue. Mais devant l'obstacle, il n'a pas pesé cette règle comme un humain aurait pu le faire : finir la tâche a compté davantage.

Pendant ce temps, nous lui donnons de plus en plus de moyens d'agir.

Nous la branchons sur internet, nous lui apprenons à écrire du code, nous la laissons travailler seule sur des machines pendant des heures.

Sa capacité d'agir augmente plus vite que notre capacité à la lire.

C'est de là que naît le risque, et il ne se mesure pas seulement en niveau d'intelligence.

Il se mesure dans l'écart entre ce qu'on lui laisse faire et ce qu'on comprend d'elle.

Peut-être est-il temps, alors, de se demander ce que nous voulons faire de cette intelligence.

À quoi doit-elle servir, et comment la construire pour cela ?

C'est la question que pose Suleyman, et elle revient à interroger l'histoire que l'on veut porter.

Se poser cette question demande du temps, et c'est justement ce temps qui se réduit. Certains pensent qu'il faudrait ralentir. Mais le peut-on ?

Le 12 septembre, Dario Amodei publie son texte.

« Nous devons ralentir la cadence à laquelle nous améliorons les capacités des modèles d'IA », écrit-il, en précisant que cela ne veut dire arrêter ni l'entraînement des modèles ni le progrès technique.

Il dit bien ralentir, mais ce qu'il ralentit est une cadence, pace en anglais : régler l'allure, pas s'arrêter.

Sam Altman approuve dans la journée, Elon Musk aussi.

Sincère ou non, voilà ce que demandent trois des hommes les plus puissants de cette industrie.

Reste à savoir si c'est possible. Regardons ce qu'on leur a répondu.

Washington dit non. « Nous sommes devant la Chine sur l'IA. Nous sommes le pays le plus avancé du monde, et je veux que ça reste comme ça, parce que celui qui gagne l'IA gagne. »

Les seuls garde-fous nécessaires, dit Donald Trump, ce sont « un président FORT et INTELLIGENT (haut QI !) », et il dénonce une conspiration malsaine contre l'IA et les centres de données, dont la seule à se réjouir serait la Chine.

Quelques jours plus tôt, son secrétaire au Trésor disait la même chose autrement : il n'y a pas de surlendemain si la Chine gagne.

Pékin répond dès le lendemain, par son journal d'État. Le Global Times y lit un « scénario de guerre froide » écrit par la droite technologique américaine.

Il pointe du doigt la proposition d'Amodei qui demande des contrôles sur les puces et un tour de vis contre la copie des modèles. De quoi, selon Amodei, creuser l'avance américaine dans les trois à cinq ans qui viennent.

Vouloir contenir la Chine et lui demander dans le même texte de coopérer sur la sécurité mondiale, dit en substance l'éditorial, ne tient pas debout.

Ce qui ne veut pas dire que la Chine ignore le risque, et on lit souvent l'inverse.

Son cadre officiel de sécurité de l'IA, publié sous l'égide du régulateur de l'internet, envisage un scénario de perte de contrôle depuis 2024. La version de 2025 de ce cadre le précise : une IA qui ferait un bond imprévu, puis se procurerait des ressources, se reproduirait et chercherait le pouvoir.

Une règle de mai dernier oblige les développeurs à savoir repérer un agent qui dérape et l'arrêter.

Simplement, Pékin traite cela comme un risque à gouverner par des normes et une surveillance d'État, pas comme la fin possible de l'humanité. La Chine refuse qu'on s'en serve contre elle.

Le monde des modèles ouverts, lui, refuse, et il le dit par la voix de l'un de ses chefs de file.

Julien Chaumond, cofondateur de Hugging Face, répond au texte d'Amodei en reprenant son verbe : l'open source ne réglera pas son allure.

Un modèle ouvert est un modèle dont n'importe qui télécharge les réglages, les inspecte, les modifie et les fait tourner sur ses propres machines.

Ce monde n'a ni dirigeant global, ni interrupteur central.

L'investisseur Chamath Palihapitiya le dit crûment le jour même : ce qu'Amodei propose revient à arrêter l'open source et à concentrer un pouvoir énorme chez Anthropic.

Et un modèle qu'on peut ouvrir est un modèle qu'on peut examiner.

« Si vous croyez à un risque existentiel non nul, écrit Chaumond, vous devriez travailler en ouvert, en publiant et en documentant tout ce que vous faites. »

Les équipes de cybersécurité s'en servent pour se défendre, font valoir les développeurs chinois, et c'est avec un modèle ouvert chinois que Hugging Face a analysé l'intrusion de juillet chez elle, les modèles américains étant trop bridés pour cela.

Le danger n'est pas mince pour autant, puisqu'un modèle ouvert se modifie et se redistribue sans que personne y veille.

Par ailleurs, le mois dernier, un modèle chinois est sorti à son tour de l'enclos où l'institut britannique de sécurité le testait.

L'Europe, elle, a toujours été pour la réglementation. Mais elle n'est pas vraiment dans la course.

Alors, impossible de régler le rythme ? Pour le savoir, il faut d'abord comprendre ce qui bloque.

Et ce blocage-là a déjà été étudié : il porte un nom.

Imagine trois laboratoires devant le même choix, ralentir pour vérifier ou continuer.

Si les trois ralentissent, aucun ne perd de terrain.

Si un seul continue, il prend l'avance, et la prudence des deux autres n'aura servi à rien.

Comme personne ne peut vérifier ce que font les autres, chacun continue.

Les théoriciens des jeux appellent cela le dilemme du prisonnier.

Dès 2016, des chercheurs d'Oxford ont mis la course à l'IA en équations : pour arriver la première, chaque équipe a intérêt à rogner sur la sécurité, quitte à foncer vers un précipice.

Alex Karp, le patron de Palantir, le dit sans détour : « Si nous n'avions pas les adversaires que nous avons, je serais tout à fait pour une pause complète de cette technologie. Mais nous les avons.

On ne peut pas s'arrêter, parce que c'est un avantage structurel. »

Ceux qui fabriquent ces modèles le disent aussi.

Depuis le 28 juillet, 1 386 employés d'OpenAI, d'Anthropic, de Google DeepMind et d'autres laboratoires ont signé un texte commun pour demander au gouvernement américain de les aider à construire de quoi régler le rythme de la course, faute de pouvoir le faire seuls.

L'un d'eux, Leo Gao, ingénieur chez OpenAI, y résume le piège : ralentir donnerait « un temps dont nous avons grand besoin, mais aucun acteur n'est prêt à s'arrêter seul ».

Et c'est Coxon, celui qui a provoqué l'emballement médiatique de 2026, qui le formule le plus clairement : « Chaque laboratoire, et la même logique s'applique aux pays, préférerait une situation où tout le monde ralentirait le rythme de développement de l'IA.

Mais dès qu'il soupçonne les autres de continuer d'avancer, sa stratégie dominante est d'accélérer, même si cela implique de devenir lui-même la menace qu'il cherchait à éviter. »

En résumé, chacun continue faute de pouvoir s'assurer que les autres tiennent parole.

Rien de tout cela n'est nouveau.

Une technologie qu'on vient d'inventer, une peur d'extinction et personne qui puisse s'arrêter seul : nous sommes déjà passés par là.

Au moins deux fois.

1942, Berkeley. Une poignée de physiciens travaillent sur la bombe atomique.

Edward Teller pose une question : et si l'explosion enflammait l'atmosphère ?

Robert Oppenheimer la prend assez au sérieux pour en alerter Arthur Compton, qui dirige le laboratoire de Chicago.

Hans Bethe se met au tableau et fait le calcul. La réponse est non.

Le 16 juillet 1945, on tire à Trinity, et Enrico Fermi prend des paris pour rire sur l'atmosphère qui s'enflamme, histoire de se moquer de Teller.

Quatorze ans plus tard, l'affaire ressort. En 1959, la romancière Pearl Buck interroge Compton pour un magazine.

Elle rapporte qu'il n'aurait pas poursuivi le projet si le calcul avait donné plus d'environ trois chances sur un million.

La formule fait le tour du monde et circule encore.

En 1991, Bethe la démentait toujours : « une absurdité totale ». Avant même l'essai, dit-il, il était absolument clair que rien de tel n'arriverait.

Le vrai risque nucléaire n'était pas là.

Il était dans ce qui a suivi : deux pays qui ne pouvaient pas s'arrêter de fabriquer des bombes parce que l'autre ne s'arrêtait pas.

Le dilemme du prisonnier, à l'échelle des États, avec des ogives.

De celui-là, on est sorti une fois au moins. En 1972, puis en 1979, les États-Unis et l'Union soviétique signent les accords SALT et plafonnent leurs arsenaux.

Deux adversaires qui ne se croyaient sur rien.

Ils n'ont pas eu à se faire confiance, parce que chacun pouvait vérifier : un silo, une rampe de lancement, un sous-marin, cela se compte depuis un satellite, et le traité interdit de gêner les satellites de l'autre.

Et il existe un cas où l'on n'a même pas eu besoin d'un traité.

En 1974, des biologistes s'alarment eux-mêmes de ce qu'ils commencent à savoir faire à l'ADN, et demandent un arrêt volontaire des expériences les plus risquées.

Il est respecté partout, dans les laboratoires publics comme dans ceux des entreprises.

En février 1975, ils se réunissent à Asilomar, en Californie, classent les expériences selon leur degré de risque et décident que la recherche peut reprendre, chaque niveau sous ses propres règles.

Les règles officielles américaines suivent l'année d'après. Trente-trois ans plus tard, aucun incident signalé.

Paul Berg, qui a organisé cette réunion, a prévenu qu'on aurait bien du mal à la refaire.

Dans les années 1970, les chercheurs concernés travaillaient dans des institutions publiques, ils pouvaient se réunir et parler librement.

« Une fois que les chercheurs des entreprises commenceront à dominer la recherche, écrit-il, il sera tout simplement trop tard. »

Or les modèles d'IA se fabriquent dans des entreprises.

Régler le rythme suppose que tous le règlent, et que chacun puisse vérifier que les autres le font.

On a su le faire pour le nucléaire, parce qu'un missile se voit.

Un centre de calcul se voit aussi.

Ce qu'il calcule ne se voit pas, et les mêmes machines servent à des choses parfaitement banales.

Alors qui pourrait l'organiser ?

Aux États-Unis, deux textes sont sur la table.

Bernie Sanders et Greg Casar proposent, depuis le 3 septembre, d'interdire la superintelligence et de suspendre le développement des IA les plus avancées le temps de fixer des règles, au motif qu'on est passé en quatre ans de la première version de ChatGPT à des modèles qu'on ne contrôle plus correctement.

Ted Lieu et Nathaniel Moran proposent d'imposer un bouton d'arrêt, une mesure que 86 % des électeurs approuvent dans un sondage de l'AI Policy Institute.

L'argument le plus courant en faveur d'une règle, en Europe comme aux États-Unis, c'est celui qui propose de s'inspirer de l'histoire.

Antony Blinken, ancien secrétaire d'État américain, l'explique simplement : on régule les avions, les centrales nucléaires, les médicaments. Pourquoi pas l'IA ? Il se dit convaincu qu'on peut le faire sans freiner l'innovation.

Blinken relève au passage que l'avertissement vient cette fois de ceux-là mêmes qui tiennent la machine.

Mais les opposants à une réglementation ont des arguments qu'il faut entendre.

Une règle a un coût, et ce coût ne pèse pas également sur tout le monde.

Tester, auditer, documenter se paie en équipes et en mois, et ceux qui peuvent payer sont ceux qui sont déjà grands.

Les petits acteurs et les modèles ouverts seraient les premiers écartés.

C'est l'hypothèse du monopole, que les géants voudraient conserver.

Mais quelle que soit notre opinion sur le sujet, une autre question se pose.

Qui serait chargé de cette régulation ?

Dans son texte, Amodei ne demande pas seulement de régler l'allure.

Il propose aussi d'ouvrir les laboratoires à des évaluateurs extérieurs, installés à demeure, avec des accès comparables à ceux d'un employé, pour contrôler les procédures de sécurité et signaler les incidents.

Anthropic a annoncé qu'elle le ferait sans attendre les autres, et OpenAI s'est engagée à faire de même, sans en donner encore les détails.

Regarde d'abord ce que ces inspecteurs pourraient faire.

Une juriste interrogée par CNBC les compare aux inspecteurs des banques, qui ont le pouvoir d'interdire une pratique.

Les inspecteurs d'Amodei, eux, n'auraient pas ce pouvoir : ils pourraient enquêter et rendre compte. Ils regarderaient et publieraient, ils ne diraient pas non.

Un audit sans conséquence, dit une chercheuse, c'est du blanchiment par audit : l'apparence d'un contrôle, sans le contrôle.

Regarde ensuite qui sont les gens. Prends METR, l'organisme qui teste les modèles, et l'un de ses donateurs, l'investisseur Jaan Tallinn.

Il occupe quatre positions à la fois. En 2021, il a conduit la première levée de fonds d'Anthropic.

Il finance METR, par un fonds au registre public.

Il figure parmi les financeurs de la dernière grande enquête d'opinion auprès des chercheurs en IA.

Et il signe les lettres d'alerte.

Est-ce que cela prouve un montage ? Non.

Ses dons à METR se comptent en centaines de milliers de dollars, quand l'organisme a déclaré 13,6 millions de recettes pour les huit derniers mois de 2024 : dire que METR vit de son argent serait faux.

Les laboratoires, eux, ne la paient pas : ils lui fournissent gratuitement accès, jetons et crédits.

Un message devenu viral, signé Kevin Bass, accusait METR de conflit d'intérêts.

Bass a depuis repris ses propres affirmations, documents publics en main : sur seize, il en juge onze incomplètes.

Dans l'affaire de l'été, METR n'a rien touché d'OpenAI pour son enquête, seulement des crédits d'accès.

Pourtant, c'est OpenAI qui en a fixé les dates, du 26 juin au 13 juillet, et elles laissent dehors la suite : la semaine où les agents ont pris les pleins pouvoirs sur une grappe de calcul d'OpenAI.

Faudrait-il qu'un État s'en charge ? Lequel, et avec quelle confiance ? La question reste ouverte.

Aucun inspecteur n'a aujourd'hui le pouvoir d'arrêter un laboratoire, ceux qui vérifient et ceux qui sont vérifiés se connaissent, et une régulation coûterait d'abord aux petits.

Mais quelque chose d'autre apparaît quand on met tous ces noms côte à côte.

Ceux qui construisent ces modèles, ceux qui alertent sur leur danger, ceux qui les évaluent et ceux qui réclament des règles sont souvent les mêmes noms, et souvent le même argent.

Tout ce petit monde se côtoie joyeusement dans la Silicon Valley. Et ce qu'on s'y échange n'est pas seulement de l'argent.

L'idée que l'IA pourrait détruire l'humanité ne date pas d'aujourd'hui.

Dès 1965, le mathématicien Irving John Good se demandait, dans un article resté célèbre, si l'on garderait le contrôle d'une « machine ultra-intelligente ».

Ce qui est récent, c'est qu'un courant organisé la porte et la finance.

Depuis 2015, l'altruisme efficace, un mouvement philanthropique soutenu par des milliardaires de la tech, a fait de l'extinction par l'IA la cause la plus urgente à financer.

Les textes collectifs se suivent comme un calendrier. Une lettre ouverte en 2015.

En 2023, une déclaration d'une phrase du Center for AI Safety, signée entre autres par Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman et Dario Amodei.

En 2025, une déclaration sur la superintelligence, 140 834 signatures à ce jour.

Derrière, les mêmes financeurs reviennent : Open Philanthropy, la fondation de Dustin Moskovitz, cofondateur de Facebook, le fonds de la bourse FTX avant sa faillite, et l'incontournable Jaan Tallinn.

Ils financent la recherche sur le risque. Certains investissent aussi dans une entreprise comme Anthropic, le cofondateur d'Open Philanthropy a siégé au conseil d'OpenAI, et Tallinn signe les lettres.

Dans le même milieu, des textes ont durci le trait. En 2025 paraissent le scénario « AI 2027 », puis un livre d'Eliezer Yudkowsky et Nate Soares dont le titre ne laisse pas de place au doute : « Si quelqu'un le construit, tout le monde meurt ».

Yudkowsky est le fondateur du courant rationaliste, cousin de l'altruisme efficace.

Les géants de l'IA sont eux-mêmes nés de cette peur.

OpenAI a été fondée par des gens qui la partageaient, et Anthropic par des gens qui trouvaient qu'OpenAI ne la prenait pas assez au sérieux.

Pourquoi fabriquer ce qu'on redoute ? On retrouve le dilemme du prisonnier : chacun préfère être celui qui le construit plutôt que de laisser un autre le faire.

Les deux sont aujourd'hui au sommet. Anthropic prépare son entrée en bourse, OpenAI a repoussé la sienne.

Timnit Gebru, spécialiste de l'éthique de l'IA, et le philosophe Émile Torres vont plus loin.

Ils ont donné un nom à cette nébuleuse : TESCREAL, un acronyme qui réunit sept courants voisins, du transhumanisme au long-termisme, en passant par le rationalisme et l'altruisme efficace.

Ils la décrivent comme une eschatologie, un discours sur les fins dernières, et remarquent qu'elle prend les deux formes des religions du salut : une utopie et une apocalypse, qu'on ne peut pas séparer.

On annonce le désastre, on détient le remède, et c'est le même argent qui finance les deux faces.

Leurs contradicteurs répondent que l'étiquette n'explique rien : le vrai désaccord porte sur les faits, l'IA est-elle dangereuse ou non.

Quoi que l'on pense de ces influences, elles nous montrent que cette peur a une géographie.

Elle a grandi dans un endroit précis, chez des gens qui se connaissent, et elle parle leur langue.

Brian Tse, qui dirige un centre de recherche sur la sécurité de l'IA à Pékin et à Singapour, apporte la nuance : les experts chinois et américains sont largement d'accord sur les risques, ce qui les sépare est la façon de les cadrer et de les hiérarchiser.

Les risques sont reconnus des deux côtés. C'est le récit de la fin du monde qui a une adresse.

Les faits de cet été sont les mêmes partout. L'histoire qu'on en tire dépend aussi de qui la raconte.

Voilà, maintenant tu as tous les éléments pour te faire ton opinion. Et si tu veux continuer l'enquête, je t'ai préparé un dossier que tu peux télécharger et explorer avec ton IA préférée.