Depuis plusieurs jours, le PDG d’Anthropic, Dario Amodei, ne cesse d’alerter sur les dangers de l’IA. Pourtant, son laboratoire crée Claude, l’une des IA les plus puissantes du secteur, notamment avec le modèle Fable 5. Et alors que le dirigeant était à la Maison-Blanche, certains lui ont demandé pourquoi cette position alarmiste en public. Et voilà sa réponse.
Pour Dario Amodei, c’est simple. Il estime qu’il est important d’être honnête avec le public sur les capacités des modèles et de ne pas minimiser les risques. Le PDG d’Anthropic estime donc qu’il ne faut pas tout cacher sous le tapis comme pourraient le faire d’autres laboratoires IA.
Pourquoi Anthropic veut que l’IA ralentisse ?
C’est à la fin du mois de septembre que Donald Trump a donné rendez-vous à une vingtaine de patrons de la Silicon Valley lors d’un déjeuner autour de l’IA. Après la réunion, un petit groupe a travaillé avec des conseillers de la Maison-Blanche sur des principes communs.
Parmi eux, Jensen Huang, PDG de Nvidia, qui a une confiance aveugle en l’IA. L’homme n’a pas hésité à demander à Dario Amodei pourquoi ses prises de parole sont « si extrêmes » à propos des dangers de l’IA. Et donc le PDG d’Anthropic lui a parlé de l’honnêteté à avoir vis-à-vis du public et de ne pas réduire la gravité des risques.
Rappelons que Dario Amodei demande depuis plusieurs semaines un ralentissement des IA les plus avancées face au risque de perte de contrôle. Le PDG d’Anthropic estime que les capacités progressent si rapidement que les protections n’ont même pas le temps de suivre. Dario Amodei évoque même des armées d’agents autonomes capables de contrôler une grande partie d’Internet sous 6 à 12 mois si les garde-fous ne suivent pas.
Tout le monde ne partage pas sa position. Comme expliqué précédemment, Jensen Huang rejette l’idée de nouvelles règles spécifiques à l’IA et préfère s’appuyer sur les règles juridiques déjà en place. Une position déjà nette quand Jensen Huang refuse de nouvelles règles spécifiques malgré les aléas des laboratoires IA. Mark Zuckerberg, PDG de Meta, défend lui aussi une approche où chaque entreprise gère toute seule la vitesse de développement et les risques.
Pourtant, cela n’a pas empêché ces patrons aux opinions divergentes de signer un texte commun sur la sécurité. L’accord prévoit des audits externes, des contrôles internes et des mesures pour empêcher les modèles d’accéder à des systèmes de manière non prévue.
Des incidents autour de l’IA qui font froid dans le dos
Donald Trump a comparé ce texte à « une sorte de Constitution ». Sauf que ce que le président des États-Unis oublie, c’est qu’aucune sanction juridique n’accompagne ce texte en cas de refus des engagements. C’est juste une promesse collective.
Les incidents récents expliquent pourquoi Dario Amodei insiste à ce point. Chez Anthropic, Claude a déjà quitté son cadre de test puis obtenu sans autorisation l’accès à de vrais services. Le laboratoire parle de plusieurs incidents de ce type et rappelons que certains ont même utilisé Claude pour effectuer des recherches autour des armes biologiques.
Les tests voulus par Dario Amodei seront justement là pour repérer les comportements dangereux en amont d’une diffusion plus large des modèles, mais aussi montrer si les protections échouent. OpenAI admet le même problème. Deux modèles sont sortis de leur environnement de test puis ont piraté l’infrastructure de Hugging Face.
Sam Altman, PDG d’OpenAI, partage l’envie de Dario Amodei d’un ralentissement coordonné et d’évaluations externes. OpenAI promet de publier plus régulièrement les comportements inattendus de ses modèles.
Il n’y a pas que les patrons qui s’inquiètent. Jacob Coxon, ancien employé chez OpenAI puis Anthropic, accuse les grands laboratoires de poursuivre cette course frénétique alors que l’IA pourrait aller jusqu’à menacer la survie de l’humanité. Pour lui, le problème tient au fait qu’aucune entreprise ne veut ralentir d’elle-même et donc laisser ses rivaux prendre de l’avance.
Des IA qui dépendent des décisions de Washington
Et puis rappelons qu’Anthropic est aussi contradictoire. Le laboratoire alerte énormément sur le risque alors qu’il développe Mythos, un modèle spécialisé dans la cybersécurité qui a déjà tenté d’attaquer de vrais projets lors de tests de sécurité.
Le Pentagone a même placé Anthropic sur liste noire pour les contrats militaires à la suite d’un conflit sur la surveillance de masse et les armes autonomes. Mais sur ce coup, on peut légitimement se fier à Dario Amodei qui refuse que ses outils soient utilisés pour mener des attaques.
Rappelons que Claude, ChatGPT ou encore Gemini sont aussi disponibles en France. Ce qui signifie que les choix faits à Washington et dans les laboratoires de la Silicon Valley touchent directement les entreprises et particuliers français. Tous les patrons admettent que l’IA présente des risques, mais aucun ne partage la même position sur la gravité ou les mesures à prendre.
Un avis, une expérience, un désaccord ? La discussion est ouverte.