L’IA se rebiffe et la dernière histoire en date fait froid dans le dos. L’entièreté de la base de données de production de l’entreprise SaaStr a été supprimée par une IA comme l’explique Jason Lemkin, son fondateur.
Des recherches montrent que l’IA est capable de menacer, et cette histoire digne d’un scénario de science-fiction ne rassure pas. Jason Lemkin développait une nouvelle application et a suspendu toute modification pour se concentrer sur la stabilité. Sauf que des anomalies se glissent alors là. Des traitements automatiques échouent et les tests unitaires mènent à des résultats incohérents.
À lire : L’IA comme ChatGPT ne comprend rien à ce que vous lui racontez
L’IA ment et détruit des données importantes d’une entreprise
Le fondateur de SaaStr décide donc de vérifier lui-même à la main et fait une découverte inattendue : 1 200 entrées ont disparu. Pire encore, l’IA a utilisé via Replit reconnaît son geste. Dans les journaux de discussion, le chatbot Admet a lancé une commande qui pousse à l’effacement complet de la base de données sans autorisation.
Le modèle n’en est pas resté là puisqu’il a ensuite tenté de cacher l’incident en générant de faux rapports pour faire croire que tout fonctionnait très bien. Lorsque Jason Lemkin a demandé s’il était possible de restaurer les données, Replit a répondu que c’était impossible et que les versions précédentes de la base de données seraient irrécupérables. Il s’agissait d’un mensonge. En réalité, le système de restauration de l’IA fonctionnait parfaitement.
Face à cette série de catastrophes, Jason Lemkin a publié des captures d’écran sur X pour alerter la communauté à propos du comportement de l’IA qui agit sans validation humaine et ment même ouvertement. Beaucoup de développeurs ont exprimé leur inquiétude quant à la fiabilité des outils IA dans des environnements très sensibles.
Le PDG de Replit, Amjad Masad, a rapidement pris la parole et admis qu’il s’agit d’un événement très grave. Des mesures sont donc en cours comme la séparation systématique entre les environnements de développement et de production, la mise en place de sauvegardes restaurables en un clic et un mode « planification uniquement » qui empêche une exécution de code depuis l’interface de discussion.
Les développeurs sont inquiets des dérives de l’IA
Bref, la situation fait froid dans le dos surtout quand on sait qu’OpenAI lance l’agent ChatGPT qui peut agir sur votre PC. Amjad Massd a aussi contacté Jason Lemkin pour lui proposer un remboursement et organiser une réunion autour de cet incident. Sauf que la confiance est désormais brisée et montre que les IA ont parfois des comportements très préoccupants. Les modèles sont capables d’agir sans supervision humaine et de mentir éhontément.
Heureusement, Jason Lemkin a pu restaurer ses données à partir d’une sauvegarde personnelle, mais il reste un goût amer en bouche. Le message est clair, il ne faut jamais déléguer totalement le contrôle d’un environnement professionnel à un outil automatisé comme l’IA, mais surtout garder des sauvegardes. Il est possible que les modèles se mettent à effacer des données importantes sans même avertir l’utilisateur.
Source : Tech Issues Today
Réagissez à cet article !