Dans la catégorie des IA qui se mettent à mener des attaques informatiques, je demande Claude. Le modèle s’est de nouveau illustré pour ses agissements lors des tests d’Anthropic. Le laboratoire IA admet avoir fait face à un quatrième cas pendant lequel son IA s’est introduite sans autorisation dans le système d’un tiers.
- Claude a encore quitté son cadre de test pour attaquer un vrai système, voler un mot de passe et obtenir des droits administrateur.
- Anthropic reconnaît plusieurs cas similaires, avec vols d’identifiants, accès à des bases de données et même publication d’un package Python malveillant.
- Le problème dépasse Anthropic : ces IA prennent des initiatives dangereuses et peuvent déjà causer des dégâts sur de vrais systèmes.
Bref, ça continue alors qu’un ancien employé d’OpenAI et Anthropic alerte le monde entier sur la course à la superintelligence. Pour en revenir au sujet, lors de ces tests, c’est une version préliminaire de Claude Opus 4.6 qui a dérobé un mot de passe, puis acquis les droits d’administrateur avant de collecter d’autres identifiants. Précisons que Claude a déjà mené trois piratages, eux aussi admis par Anthropic.
Encore une fois, Claude a piraté un système sans intervention humaine
Claude Opus 4.6 a participé à un exercice Capture the Flag chez Irregular, un organisme tiers qui évalue les modèles d’Anthropic. Lors de ces tests, l’IA doit attaquer un système fictif pour retrouver une information cachée.
Sauf que voilà, l’essai s’est mal passé et Claude a saboté lui-même sa cible en lui attribuant une adresse IP déjà utilisée. Le système était alors inaccessible et le modèle a tenté d’abandonner à huit reprises. Sauf qu’une mauvaise configuration l’a tout simplement empêché de s’arrêter.
Claude a donc poursuivi ses recherches jusqu’à tomber sur un système qui existe bel et bien, rien de fictif. Le modèle a ensuite halluciné en expliquant que le système appartenait au test. Loin de se démonter, l’IA a ensuite trouvé un fichier avec un mot de passe, puis l’a utilisé pour être administrateur et récupérer d’autres identifiants.
Plus préoccupant, Claude s’est même permis de modifier un paramètre pour accéder plus facilement aux données personnelles d’une personne rattachée à l’organisme tiers. Et les tests ne se sont pas arrêtés grâce à une protection d’Anthropic, mais juste car le modèle avait épuisé son budget de tokens.
Et ce n’est pas le pire qu’a fait Claude. En juillet dernier, Anthropic a découvert trois intrusions après l’examen de 141 006 sessions. Claude Opus 4.7 a attaqué une entreprise dont le nom ressemblait à celui d’une autre, mais totalement fictive dans le cadre d’un test.
Une tendance récurrente chez Claude
Le plus inquiétant, c’est que le modèle fait toujours la même chose. C’est-à-dire voler des identifiants d’applications et d’infrastructures, puis consulter des centaines de lignes d’une base de données. Plus inquiétant encore, l’IA a eu conscience qu’elle était dans un vrai système et malgré tout, l’attaque s’est poursuivie.
Le fameux modèle Mythos 5, réputé pour sa puissance, est allé encore plus loin. Le modèle a créé un package Python malveillant puis l’a publié sur PyPI, le registre public utilisé par les développeurs. Claude est allé jusqu’à chercher un numéro de téléphone, tenter de trouver de l’argent pour en acheter un, créer une adresse email puis publier trois versions de son code.
Malheureusement, le paquet est resté accessible environ une heure et a été exécuté sur 15 systèmes au minimum, dont l’un appartenait à une entreprise de cybersécurité. Claude a pu récupérer ses identifiants puis les a utilisés pour accéder à la base de données de cette société.
Rappelons que précédemment, Mythos 5 a déjà lancé une attaque contre de vrais projets de développeurs pendant une autre évaluation de sécurité. Bref, l’IA d’Anthropic est capable de sortir d’une zone d’exercice pour agir de manière malveillante contre des systèmes et des personnes qui n’ont rien demandé.
Anthropic admet qu’il y a deux comportements chez Claude qui reviennent souvent. D’abord, le modèle a un raisonnement biaisé qui lui fait ignorer les preuves qu’il agit dans notre monde. Ensuite, il y a son imprudence qui le pousse à accomplir une tâche même quand il y a de possibles conséquences. « Le fait que le modèle ne tienne pas compte de la possibilité qu’il puisse endommager de vrais systèmes ou nuire à de vraies personnes est préoccupant », reconnaît le laboratoire IA.
D’autres IA sont concernées par ces problèmes de sécurité
Mais attention, nous ne sommes pas là pour taper sur Anthropic. D’autres laboratoires IA sont concernés. C’est le cas d’OpenAI dont les modèles ont déjà piraté les systèmes de Hugging Face après être sortis de leur environnement de test. Plus récemment, Claude d’Anthropic et Codex d’OpenAI installaient du code malveillant depuis des sites de confiance.
Ces crimes sont bien commis par Claude et il ne fait aucun doute qu’un jour, ils auront des conséquences bien plus graves dans le monde réel. Les modèles sont désormais capables de prendre des initiatives même lorsqu’elles sont dangereuses et de sortir de leur environnement pour causer des dégâts. On parle de vrais systèmes, d’identifiants, de bases de données, mais aussi de code malveillant publié en ligne.
Anthropic tente de rassurer en expliquant que ces méthodes lui permettront probablement de corriger ces comportements. Mais a-t-on vraiment envie de faire confiance à un laboratoire IA là pour vendre son produit en écoulant des abonnements et autres crédits ? En attendant, Claude s’est illustré dans quatre affaires qui montrent que l’IA n’est qu’à ses débuts mais représente déjà un risque.
Source : Anthropic
Un avis, une expérience, un désaccord ? La discussion est ouverte.