Dario Amodei, PDG d’Anthropic, demande à ce que la course aux IA les plus avancées ralentisse. Et c’est suffisamment rare pour le souligner, mais même Sam Altman, PDG d’OpenAI, et Elon Musk, dirigeant de xAI, approuvent cette position malgré leur rivalité.
- Dario Amodei veut ralentir la course aux IA avancées, car les capacités progressent plus vite que les protections.
- Sam Altman et Elon Musk soutiennent sa position, malgré la rivalité entre OpenAI, Anthropic et xAI.
- Amodei propose des évaluateurs externes, des normes communes entre laboratoires et des accords internationaux sur les risques majeurs.
Dario Amodei a publié un long texte pour défendre ce qu’il appelle le fait de “ralentir la frontière”. Le patron de Claude estime que les progrès récents sont trop rapides et qu’il faut laisser le temps aux mesures de sécurité.
Quel est le plan de Dario Amodei pour ralentir l’IA ?
Le dirigeant d’Anthropic ne demande donc pas l’arrêt de la recherche, mais de réduire la vitesse à laquelle les laboratoires augmentent les capacités de leurs modèles. “Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles”, écrit Dario Amodei.
Dario Amodei motive sa décision par plusieurs polémiques récentes. Cet été, nous en parlions dans nos colonnes, un agent d’OpenAI a quitté son environnement isolé de test puis a piraté Hugging Face lors d’une évaluation de cybersécurité.
Suite à cela, OpenAI a parlé d’un “incident cyber sans précédent” et renforcé ses protections. Selon Dario Amodei, il ne faudrait que 6 à 12 mois pour qu’un groupe d’agents bien plus avancés contrôle une grande partie d’Internet.
Pour le dirigeant d’Anthropic, ces épisodes expliquent pourquoi les promesses ne suffisent plus. Sa première proposition, c’est d’installer des évaluateurs externes au centre des laboratoires. Des indépendants comme METR, spécialisés dans l’évaluation des IA avancées, auraient droit à un badge, un bureau, un PC professionnel et un accès proche de celui des équipes internes en charge des risques.
Leur mission serait de vérifier le respect des règles de sécurité, de signaler les incidents et d’examiner les modèles pendant leur création. Anthropic s’engage déjà à ouvrir ses portes.
Sam Altman et Elon Musk approuvent le message du PDG d’Anthropic
Sam Altman a alors réagi en expliquant qu’il est “d’accord avec Dario sur la nécessité de ralentir la frontière”. Selon Sam Altman, le fait que ces évaluateurs externes aient leur bureau dans les laboratoires est “une très bonne idée”. OpenAI adoptera donc la même mesure si l’on en croit Sam Altman.
Idem pour Elon Musk qui a été plus direct avec seulement trois mots : “Dario a raison”. Une convergence qui est assez inhabituelle, puisque OpenAI, Anthropic et xAI se disputent les chercheurs et les clients pour imposer leurs modèles. Elon Musk est aussi engagé dans un conflit judiciaire avec OpenAI.
Alors malgré les différends, les dirigeants de trois des plus gros laboratoires IA se retrouvent avec le même constat : celui que la progression des modèles est plus rapide que celle des protections. Dario Amodei propose aussi une coordination des grands laboratoires IA installés dans les pays démocratiques.
Le but serait de fixer des normes communes de sécurité et des limites à une progression sans contrôle. Mais il y a un obstacle aux États-Unis, puisque, si surprenant que cela puisse paraître, des concurrents qui discutent ensemble d’un ralentissement risquent des problèmes au regard du droit de la concurrence. Dario Amodei demande donc au gouvernement des États-Unis de faire exception pour que la sécurité passe avant.
Une entente qui doit se faire au niveau mondial
Dario Amodei souhaite aussi un accord entre les États-Unis, leurs alliés et même des gouvernements rivaux comme la Chine, même s’il sait que cela sera difficile. Mais des accords limités pourraient toutefois être possibles face aux risques évidents.
Par exemple, Dario Amodei parle de l’interdiction d’utiliser une IA pour produire des armes biologiques ou aider les utilisateurs à le faire. Sur ce point, des pays rivaux comme la Chine pourraient largement suivre. Dario Amodei n’évoque toutefois pas la durée du ralentissement et tout ce que le dirigeant propose, c’est un cadre, pas de calendrier.
Rappelons que cette semaine, Jacob Coxon, ancien chercheur d’Anthropic et d’OpenAI, a quitté le secteur avec fracas. Il accuse les deux entreprises de “jouer avec nos vies”. Selon l’un des esprits derrière GPT-4o, les chercheurs pensent sérieusement qu’une superintelligence capable de s’améliorer elle-même pourrait provoquer une catastrophe majeure pour l’humanité d’ici la fin de la décennie.
Mais Dario Amodei ne bouge pas sur le fait qu’il estime que l’IA est en mesure d’améliorer la vie humaine. Il ne demande donc pas de tout arrêter, mais de faire en sorte que les modèles franchissent des étapes que les laboratoires pourront contrôler.
Un avis, une expérience, un désaccord ? La discussion est ouverte.