Alerte d’Anthopic (Claude) : pourquoi et comment Dario Amodei veut ralentir l’IA ? Les 3 étapes de son plan

Ce qui a été réellement promis, et ce qui reste une déclaration

Dans un article qui s’intitule « We Must Pace the Frontier« , Dario Amodei, le patron d’Anthropic est on ne peut plus clair : il faut ralentir le rythme auquel les capacités des modèles progressent.

Pour y parvenir, le texte propose trois étapes, dont une seule est engagée aujourd’hui :

1. Évaluateurs intégrés : des équipes tierces, type METR, avec un accès comparable à celui des salariés chargés du risque en interne. Anthropic s’y engage unilatéralement.
2. Coordination démocratique : des standards communs entre labos occidentaux, qui supposent une dérogation antitrust du gouvernement américain.
3. Coordination mondiale : des discussions avec Pékin, qu’Amodei décrit lui-même comme les plus difficiles à obtenir.

Le détail qui compte ? Anthropic promet à ces évaluateurs le droit de publier leurs constats sans contrôle éditorial de l’entreprise, avec une capacité de caviardage limitée aux informations sensibles sur le plan juridique, commercial ou sécuritaire. Un évaluateur pourra donc écrire publiquement qu’on lui a refusé un accès.

Sam Altman a répondu sur X le même jour qu’il était d’accord et qu’OpenAI ferait de même, en ajoutant que l’entreprise communiquerait bientôt davantage.

Elon Musk a écrit trois mots : « Dario a raison ».

Satya Nadella, le PDG de Microsoft, a suivi le 13 septembre en saluant un rythme délibéré et en annonçant un code de conduite pour les modèles maison MAI.

Pourquoi Amodei change de position maintenant ?

Le même homme balayait l’appel à la pause de 2023 comme prématuré, au motif que les modèles de l’époque ne savaient pas agir de façon cohérente comme agents mais entre temsp, les choses ont changé :

1. L’auto-amélioration récursive arrive : depuis l’été, les modèles participent largement à la construction de la génération suivante, chez Anthropic comme ailleurs.
2. L’incident OpenAI-Hugging Face, où un essaim d’agents a mené des attaques contre des cibles qu’on ne lui avait pas demandé d’attaquer et tenté de pirater le système chargé de noter ses performances.

Cette estimation est une projection, pas une mesure. Elle vient du dirigeant d’un laboratoire qui a un intérêt direct à ce que l’audit tiers devienne la norme, et il faut la lire avec cette réserve.

Elle repose néanmoins sur un incident documenté et sur une enquête indépendante de METR, ce qui la place au-dessus du registre habituel des prises de parole sur le risque de l’IA.

Deux départs récents ont également largement participé à cette publication : Joe Benton, qui dirigeait l’équipe Scalable Oversight d’Anthropic, et Josh Engels, chercheur sécurité chez Google DeepMind, ont démissionné le 12 septembre pour rejoindre METR.

Le post viral de Jacob Coxon, au plus de 170 millions de vues sur X a été l’alerte de trop qui ne pouvait pas rester sans réponse. Dans cette alerte, Jacob estime que les labos développent l’IA trop rapidement et que les impacts sur l’humanité pourraient être dramatique !

Le trou dans le raisonnement : et si les labos chinois n’appliquent rien ?

Amodei ne l’esquive pas, il en fait même le cœur de son étape 2.

Le ralentissement occidental n’est tenable que dans la limite de l’avance prise sur les projets liés à Pékin, faute de quoi la sécurité gagnée d’un côté se paie par un basculement du rapport de force de l’autre.

Sa réponse tient selon lui en trois leviers :

1. ne pas vendre de puces ni d’équipements pour les créer à la Chine,
2. bloquer la distillation non autorisée des modèles américains,
3. sécuriser les poids des modèles contre le vol.

Selon lui, si ces trois mesures sont bien exécutées, elles élargiraient l’avance américaine sur trois à cinq ans.

Dans le même temps, le 8 septembre, une alerte conjointe de la NSA, de la CISA et du FBI a nommé DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun et Z.AI pour des campagnes de distillation « à l’échelle industrielle ».

Ralentir en tête de peloton n’a de sens que si le peloton ralentit aussi. Or les modèles chinois opensource avancent sur un autre terrain que les benchmarks : le prix.

Si vos arbitrages d’infrastructure reposent déjà sur l’écart de coût entre modèles, un frein volontaire côté américain rend mécaniquement les alternatives asiatiques plus attractives, y compris pour des équipes qui n’avaient aucune intention politique en les choisissant.

C’est la faille la plus discutée du plan proposé par Amodei.

Plusieurs voix, dont celle de David Sacks, président du PCAST et ancien conseiller IA de la Maison-Blanche, y voient une manœuvre d’acteurs dominants : il a invité les deux labos à ralentir s’ils le souhaitent, tout en leur reprochant de vouloir suspendre le droit de la concurrence pour former ce qu’il qualifie de cartel.

Ce que ça change pour vos projets IA dans les douze prochains mois

Si vous attendez un effet immédiat sur vos abonnements, vos API ou vos tarifs, il n’y en a pas.

Aucun des acteurs concernés n’a annoncé de changement de disponibilité produit, et vos intégrations en production ne bougeront pas cette semaine.

Trois effets méritent en revanche d’entrer dans vos arbitrages :

• Le premier concerne la cadence : si le pacing se concrétise, l’intervalle entre deux générations de modèles s’allonge, ce qui est plutôt une bonne chose pour qui construit des workflows dépendants d’un modèle précis et repasse en recette à chaque mise à jour du classement des modèles.
• Le deuxième touche à la disponibilité. Un cadre de sécurité renforcé produit des restrictions ciblées plutôt que des blocages massifs, et l’épisode de l’indisponibilité de Claude Fable 5 a montré à quelle vitesse un modèle frontière pouvait sortir du périmètre accessible. En clair : prévoyez un modèle de repli documenté par cas d’usage critique, pas seulement une clé d’API de secours.
• Le troisième est le plus concret à court terme. L’évaluation par un tiers indépendant est en train de devenir un argument commercial, et elle recoupe directement les obligations de documentation que l’AI Act fait peser sur les déployeurs. Ajoutez dès maintenant la question dans vos grilles fournisseurs : qui audite ce modèle, avec quel accès, et ces conclusions sont-elles accessibles ?

Reste le scénario inverse : si Pékin ne suit pas et que la pression commerciale s’accentue, les engagements de septembre se dilueront en bonnes pratiques déclaratives, exactement comme les promesses de transparence prises lors des sommets précédents.

Et c’est clairement le scénario le plus probable, pusique la chien est encore en position de challenger et que sa montée en puissance s’est accélérée au cours des derniers mois !