Jacob Coxon est un chercheur spécialisé dans l’IA et c’est lui qui tire la sonnette d’alarme. Selon lui, les laboratoires IA « jouent avec nos vies ». L’expert britannique de 27 ans vise OpenAI et Anthropic, deux entreprises où il a travaillé.
- Jacob Coxon, ancien chercheur chez OpenAI et Anthropic, accuse les deux labos IA de foncer vers la superintelligence malgré les risques.
- Selon lui, OpenAI sous-estime le danger, tandis qu’Anthropic le comprend mieux mais continue par peur de se faire dépasser.
- Il demande une coordination entre labos et États, voire une pause temporaire, si la sécurité ne suit pas la progression des modèles.
Selon lui, malgré les inquiétudes internes, ces sociétés ne ralentissent pas dans la course vers la superintelligence, sans même savoir si elles seront capables de la contrôler. Jacob Coxon n’est pas n’importe qui puisqu’il a travaillé sur GPT-4o et GPT-4.5 chez OpenAI. Le chercheur bossait sur le pré-entraînement, soit le moment où un modèle « apprend » à partir de gros volumes de données.
Pourquoi l’IA pourrait représenter un danger pour l’humanité
Bref, une expérience plus que solide qui appuie son accusation car le chercheur a participé directement aux modèles de pointe d’OpenAI et d’Anthropic, soit les entreprises les plus avancées du secteur. Alors, quand il partage sa crainte que l’IA détruise l’humanité, on tend l’oreille.
Pour rappel, une superintelligence est un concept selon lequel une IA serait assez efficace pour s’améliorer elle-même, voire créer une version encore plus efficace. Jacob Coxon estime que cette étape changerait totalement le niveau de risque, parce qu’une IA supérieure aux humains pourrait aussi chercher des ressources, exploiter des failles informatiques ou contourner les limites imposées.
« Aucune des deux entreprises n’agit de façon responsable », affirme Jacob Coxon en parlant d’OpenAI et Anthropic. Selon lui, le laboratoire à qui l’on doit ChatGPT ne mesure pas assez les conséquences possibles. Pour Anthropic, son constat est différent. Il estime que les équipes comprennent beaucoup mieux le danger, mais qu’elles continuent parce qu’elles craignent qu’un concurrent ne soit le premier.
Résultat, chaque laboratoire accélère parce qu’il veut décrocher la première place. Bien évidemment, personne ne souhaitera ralentir car cela laisserait le temps à la concurrence d’avancer.
Jacob Coxon critique la course effrénée à la superintelligence
Et Jacob Coxon n’est pas le seul à partager cette inquiétude chez Anthropic. Evan Hubinger, responsable de la recherche sur l’alignement du laboratoire, estime à plus de 10% le risque qu’une IA élimine les humains dans la prochaine décennie.
Il admet aussi qu’Anthropic n’a pas de solution pour l’alignement d’une superintelligence. On parle d’une capacité à garder ses objectifs alignés sur ceux des humains, même si son autonomie et ses capacités augmentent. Une question encore loin d’être résolue.
Le paradoxe est énorme pour Anthropic, qui axe sa communication autour de la sécurité. Pourtant, ses propres chercheurs jugent que les protections ne progressent pas assez vite. Dario Amodei, PDG d’Anthropic, a pourtant lui-même averti à propos des risques que posent les IA avancées. Il a notamment évoqué le risque d’un contrôle totalitaire renforcé par l’IA et une technologie qui pourrait mettre l’humanité à rude épreuve.
Aux États-Unis, la politique s’en mêle, puisque Bernie Sanders et Greg Casar soutiennent une proposition pour bloquer le développement d’une superintelligence jusqu’à la mise en place de règles fédérales. Des laboratoires demandent déjà une intervention publique. Même si la compétition rend très difficile une pause décidée par un seul laboratoire.
Des entreprises IA dans la surenchère
Jacob Coxon ne demande pas qu’aux laboratoires de ralentir de leur côté mais une coordination entre eux, et avec les États, pour casser cette logique de course. Il demande aussi une pause temporaire si les garanties de sécurité ne suivent pas la progression des capacités des modèles.
Son départ en fanfare montre bien qu’il y a un problème difficile à ignorer qui pèse sur l’humanité, pendant que le capitalisme nous fait oublier que l’IA est loin d’être un outil comme les autres. Jacob Coxon a même décidé de fermer la porte aux laboratoires IA après être passé chez Anthropic, mais aussi de s’éloigner de ce secteur.
Un avis, une expérience, un désaccord ? La discussion est ouverte.