Face au risque de l’IA, Anthropic, développeur de Claude, propose son projet de loi. Le laboratoire IA demande qu’aux États-Unis, le gouvernement puisse bloquer un modèle, mais uniquement en cas de danger susceptible de tuer ou de blesser gravement plus de 50 personnes ou de causer un milliard de dollars de dégâts.
- Anthropic propose qu’une IA ne puisse être bloquée qu’en cas de risque imminent de tuer ou blesser gravement plus de 50 personnes ou de causer 1 milliard de dollars de dégâts.
- Le texte vise notamment les armes biologiques, les cyberattaques et les modèles qui échappent au contrôle humain, avec des évaluateurs indépendants chargés d’alerter le gouvernement.
- Cette proposition arrive alors qu’Anthropic et OpenAI multiplient les incidents et tests inquiétants, tandis que plusieurs experts alertent sur les risques majeurs de l’IA avant 2030.
Bref, une limite qui a de quoi choquer. Faut-il vraiment attendre autant de pertes humaines avant de désactiver complètement une IA ? D’autant plus qu’Anthropic, développeur de Claude, a bien conscience des risques autour de cette technologie, puisque son texte concerne les armes biologiques, les cyberattaques et les modèles qui échappent au contrôle humain.
Anthropic propose sa limite avant de désactiver une IA
C’est face à des élus du Congrès qu’Anthropic a présenté ce projet, dont le texte donnerait un rôle central au ministère du Commerce. Le laboratoire IA suggère que des évaluateurs indépendants enregistrés auprès de ce ministère examinent les laboratoires et leurs modèles. Le projet autorise également les laboratoires IA qui sont évalués à payer les évaluateurs indépendants si la rémunération ne dépend pas de leurs résultats.
En cas de risque, l’expert aura alors 72 heures pour alerter le ministère du Commerce. Ensuite, ce ministère saisirait un juge fédéral à Washington pour suspendre une IA. Quant aux autres agences fédérales, elles n’auraient pas la main sur le développement, le déploiement ou l’utilisation interne.
À noter que le seuil de 50 personnes évoqué précédemment n’apparaît pas pour la première fois chez Anthropic. En avril dernier, le laboratoire IA soutenait un autre texte dans l’Illinois qui fixait cette limite pour définir un risque de catastrophe lié à l’IA.
Et Anthropic a bien conscience du risque qui pèse sur l’humanité, puisque Dario Amodei, PDG d’Anthropic, estime que cette technologie pourrait détruire l’humanité d’ici 2030. Sa proposition arrive dans un contexte très particulier sur le marché de l’IA.
L’IA inquiète face aux risques pour l’humanité
La Federal Trade Commission, autorité étasunienne qui protège les consommateurs, a envoyé des demandes officielles de documents à Anthropic et OpenAI suite à plusieurs incidents de sécurité. Quelques jours auparavant, Anthropic avait coupé Internet à Claude après un faux signalement de meurtre à la police.
Lors d’autres tests internes, le laboratoire IA a découvert que ses modèles franchissent les limites fixées par l’humain. Il y a également tout le risque autour des armes biologiques. La situation est telle qu’à la rentrée, Anthropic a bloqué plusieurs comptes après des recherches sur les armes biologiques avec Claude.
Le texte proposé par l’entreprise autoriserait une intervention fédérale en cas de risque imminent de création ou de diffusion d’une arme biologique avec l’aide d’un modèle. Comme expliqué précédemment, le texte parle aussi du risque qu’une IA échappe au contrôle des humains.
Et justement, Anthropic a aussi vécu cet épisode puisque Claude a attaqué un vrai système hors de son test. Et OpenAI n’est pas épargné, puisque cet été, ses modèles ont piraté Hugging Face après avoir quitté leur environnement sécurisé.
Les entreprises IA doivent faire avec un danger immense
Une situation telle que Washington fut poussée à réfléchir à des règles spécifiques pour les agents IA capables d’agir sur Internet en toute autonomie. Rappelons que des voix s’élèvent contre les dangers de l’IA et dénoncent l’irresponsabilité des laboratoires comme Anthropic, OpenAI, xAI ou encore Google.
On pense notamment à David Robinson, un ancien cadre de la sécurité d’OpenAI, qui a quitté l’entreprise et estime que les entreprises ignorent les risques autour de l’IA. Vous l’aurez compris, le débat bat son plein et beaucoup d’experts estiment que les dangers pour l’humanité à cause de cette technologie sont imminents avant la fin de l’actuelle décennie.
Pourtant, cela n’empêche pas le milieu de développer des modèles encore plus intelligents à une vitesse fulgurante sans même les maîtriser totalement. Car le problème, c’est qu’un laboratoire IA ne peut pas ralentir, sous peine de se faire dépasser par ses concurrents. D’où cette surenchère qui ignore les soucis autour d’une avancée aussi majeure que l’IA.
Source : Reuters
Un avis, une expérience, un désaccord ? La discussion est ouverte.