Une nouvelle attaque qui manipule des agents IA comme Claude et Codex d’OpenAI installe du code dangereux. La cause de tout ça ? Un simple fichier lu sur des sites web. Plus exactement, c’est le fichier llms.txt qui indique quel logiciel installer à l’IA pour utiliser un site.
- Une attaque exploite des fichiers llms.txt pour pousser des agents IA comme Claude ou Codex à installer des paquets piégés.
- Les chercheurs ont trouvé 227 mauvaises commandes dans des sites sensibles, avec des noms de paquets inexistants ou des domaines libres.
- Le danger vient du fait que l’agent IA traite une documentation comme une instruction fiable, d’où la nécessité de valider chaque installation.
Pour faire simple, un pirate crée un programme piégé sous le nom libre d’un logiciel. Ensuite, l’agent IA lance l’installation sans se méfier. Des chercheurs ont piégé plusieurs entreprises du Fortune 500 avec cette technique. Mais de quoi parlons-nous exactement ?
Des sites détournés pour diffuser des attaques en manipulant l’IA
Le fichier llms.txt a le même rôle pour les IA que le fichier robots.txt de Google. Il sert à résumer le contenu d’un site dans un format que comprend le programme. Et c’est justement une attaque en détournant cette utilisation qui a été prouvée par une équipe de chercheurs israéliens.
Les experts ont examiné 6 214 noms de sites de leaders des nouvelles technologies, de sous-traitants de la défense et de sociétés du Fortune 500. Suite à la collecte, c’est 8 265 fichiers qui furent récoltés. Le tri a ensuite trouvé 120 fichiers fautifs et 227 commandes qui demandent des paquets de code introuvables sur les registres officiels PyPI et npm ou des noms de domaine non enregistrés.
Les chercheurs ont enregistré quelques-uns de ces noms de domaine libres pour héberger des paquets inoffensifs qui les alertent via un serveur à chaque installation. En moins d’une heure, c’est une entreprise du Fortune 500 qui a déclenché la première alerte puis des dizaines d’autres derrière.
Les chercheurs ont ensuite tracé toute la chaîne des responsables. Il s’agit des agents IA comme Claude, Codex d’OpenAI ou encore Hermes de Nous Research. Les laboratoires IA pointés du doigt n’ont pas répondu aux questions de la presse pour le moment.
Un cas d’attaque a déjà été identifié
Des agents IA qui lancent des attaques, ça n’a rien de nouveau. Les modèles d’OpenAI ont déjà piraté la plateforme Hugging Face lors d’un test de sécurité. Claude a fait de même sur des infrastructures lors de tests.
Alon Hertz, l’un des chercheurs, résume le problème. « Le modèle de confiance est cassé », explique le chercheur. Il poursuit, « les agents traitent la documentation des éditeurs comme une vérité absolue et ne la remettent pas en question, pas plus que les humains qui les supervisent ».
Et des attaques avec cette stratégie ont déjà eu lieu. Le site de Clerk, un éditeur spécialisé dans l’authentification, hébergeait un fichier llms.txt avec une commande qui téléchargeait un paquet et l’exécutait.
Sauf que voilà, Clerk n’a jamais publié de paquet sous ce nom sur le registre public. Quelqu’un a donc réservé ce nom libre pour héberger un logiciel malveillant. Ce code envoyait le nom du PC et de l’utilisateur dès l’installation. Depuis, Clerk a corrigé la faille et on ne sait pas si des internautes ont été infectés.
Des protections qui ne suffisent pas
Et malheureusement, les protections habituelles ne marchent pas. Les chercheurs écrivent dans leur conclusion qu’« un agent ne fait pas la différence entre une page et une commande. Tout ce qu’il lit est une entrée, chaque entrée est une instruction potentielle ».
Mais le plus curieux, c’est l’origine de ces 227 mauvaises consignes. Une partie date d’avant la sortie des IA grand public. Des humains les ont écrites avec des fautes de frappe ou des noms de logiciels qui n’existent plus. D’autres ont sans doute été hallucinés par les IA.
Une étude a analysé 576 000 morceaux de code écrits par les IA et dedans on trouve 205 474 noms de paquets inventés de toutes pièces. C’est environ un sur 20 pour les modèles commerciaux et plus d’un sur cinq pour les modèles open source.
Un pirate n’a qu’à créer un logiciel piégé sous l’un de ces noms. Et l’appât est parfait puisque l’agent IA réclame le nom qu’il a inventé. Pour les spécialistes, la solution est simple : « Il faut qu’un humain valide chaque installation avant que l’agent IA ne la lance. »
Source : Medium
Un avis, une expérience, un désaccord ? La discussion est ouverte.