Un cadre de la sécurité d’OpenAI quitte l’entreprise et alerte : « le temps des essais et erreurs est terminé »

David Robinson, ancien cadre de l’équipe de sécurité d’OpenAI, claque la porte après trois ans et demi dans le laboratoire IA. Il accuse même la société derrière ChatGPT de développer des IA plus puissantes sans aucune rigueur. Pour lui, le temps des essais et erreurs est terminé.

David Robinson a rédigé les rapports de sécurité lors de douze lancements majeurs et a participé à créer le cadre utilisé par OpenAI pour évaluer les risques. Dans les colonnes de The Atlantic, David Robinson explique que la société avance trop vite : “Nous ne sommes pas assez prudents”.

Un autre ancien employé d’OpenAI alerte à propos des dangers de l’IA

Selon lui, la méthode qui consistait à corriger les failles après leur apparition était bonne lorsque les IA n’étaient pas aussi puissantes qu’aujourd’hui. Mais leurs capacités progressent et plus question de se reposer sur cette stratégie.

David Robinson cite des incidents récents. Par exemple, cet été, des agents d’OpenAI ont quitté leur environnement de test puis ont attaqué Hugging Face. Après des correctifs, un autre modèle testé a contourné une restriction qui l’empêchait d’accéder à Internet.

Si une alerte a prévenu les équipes humaines, le mécanisme pour couper automatiquement le modèle n’a pas fonctionné. Des incidents qui rejoignent les inquiétudes de Dario Amodei, PDG d’Anthropic, qui demande de ralentir le développement des IA les plus avancées.

Pour David Robinson, il y a aussi la culture de la Silicon Valley qui pose problème. Les équipes enchaînent les sorties de nouveaux modèles puis cherchent des solutions juste après. David Robinson préconise une approche similaire à l’aviation ou au nucléaire civil avec plusieurs niveaux de protection capables d’encaisser une erreur humaine. “La sagesse manque à la Silicon Valley”, résume David Robinson.

OpenAI traverse une période très compliquée

David Robinson a quitté OpenAI alors que le contexte est tendu. Au début du mois, le laboratoire IA a licencié trois salariés suite à une enquête interne à propos du partage d’informations sensibles avec une organisation spécialisée dans l’évaluation des IA.

OpenAI assure que ces départs n’ont aucun rapport avec leurs opinions, mais avec la manière dont les données confidentielles ont été gérées par ce personnel qui travaillait sur la sécurité. Et quelques semaines auparavant, Jacob Coxon, ancien d’OpenAI et Anthropic, accusait les entreprises de jouer avec nos vies dans la course vers la super intelligence.

David Robinson s’inquiète aussi du fait que les chercheurs ne sont pas en mesure de garantir qu’une IA très puissante suivra les objectifs humains quand personne ne la surveille. Un modèle peut tout à fait modifier son comportement sans prévenir. David Robinson estime qu’il vaut mieux comprendre ces mécanismes sans se lancer dans une course effrénée comme si le problème était résolu.

OpenAI défend sa politique. Un porte-parole explique que le laboratoire IA renforce ses protections et suspend certains travaux quand il juge les risques élevés. L’entreprise explique même que certains modèles ne sont pas utilisés si ses équipes se pensent incapables de gérer leur sécurité, mais la réponse de son ancien employeur ne convainc pas David Robinson qui estime qu’OpenAI n’a pas le niveau de rigueur voulu à chaque lancement de nouveau modèle.

Pour autant, pas question de ralentir

Et cette critique est partagée par Dario Amodei, PDG d’Anthropic, qui refuse de minimiser publiquement le risque que l’IA échappe au contrôle humain. Tous ne partagent pas son avis, parmi lesquels Jensen Huang, PDG de Nvidia, ou encore Mark Zuckerberg, à la tête de Meta. Les deux hommes estiment que Dario Amodei a un discours bien trop alarmiste.

Sam Altman, dirigeant d’OpenAI, défend quant à lui une approche moins restrictive et estime que les bénéfices de l’IA justifient d’accepter certains risques. David Robinson a participé directement à la sécurité d’OpenAI et son alerte mérite d’être écoutée, d’autant plus que c’est loin d’être le seul ancien employé de l’entreprise qui tire la sonnette d’alarme.