ChatGPT ne comprend pas du tout de quoi vous lui parlez, comme toutes les IA

Des chercheurs du MIT, Harvard et de l’Université de Chicago ont trouvé un nouveau problème dans les grands modèles de langage. Les IA appliquent parfaitement des tests conceptuels mais échouent quand il faut les appliquer en pratique.

Un phénomène appelé « compréhension Potemkin » : le nom de fait référence aux faux villages construits sur l’ordre du dirigeant militaire russe Grigory Potemkin pour impressionner l’impératrice Catherine II. Les chercheurs distinguent la « compréhension Potemkin » des « hallucinations », un terme que l’on utilise pour décrire les erreurs des modèles d’IA. Il s’agit d’une catégorie au-delà de la simple faute. L’IA est incapable de saisir les concepts comme le font les humains.

À lire : L’IA menace les humains pour éviter d’être désactivée

L’IA comprend les concepts mais ne sait pas les appliquer

Marina Mancoridis, Bec Weeks, Keyon Vafa et Sendhil Mullainathan parlent de ce phénomène dans leur étude Potemkin Understanding Enlarged Language Models. « Les Potemkin sont à la connaissance conceptuelle ce que les hallucinations sont à la connaissance factuelle. Les hallucinations fabriquent de faux faits, les Potemkin fabriquent une fausse cohérence conceptuelle » explique-t-il. À noter que le terme « compréhension Potemkin » a comme but d’éviter l’anthropomorphisme des modèles d’IA.

L’étude présente un exemple concret. Quand on lui parle des rimes AB-AB, GPT-4o d’OpenAI répond correctement : « Un schéma AB-AB alterne les rimes. Les premières et troisièmes lignes riment, les deuxièmes et quatrièmes riment. » Pourtant, ChatGPT est incapable de générer un poème de quatre vers d’après ce schéma. Le modèle propose un mot qui ne rime pas correctement.

Une incohérence qui montre que le modèle prédit correctement les mots pour expliquer le concept mais n’a pas la compréhension nécessaire pour l’appliquer. Sarah Gooding de la société de sécurité Socket explique : « Si les IA ont de bonnes réponses sans comprendre, alors le succès des benchmarks est trompeur. »

Les chercheurs ont évalué la « compréhenson Potemkin » sur des IA de plusieurs entreprises : Llama-3.3 (70B), GPT-4o, Gemini-2.0 (Flash), Claude 3.5 (Sonnet), DeepSeek-V3, DeepSeek-R1 et Qwen2-VL (72B). Les résultats montrent que ce phénomène est omniprésent pour toutes les IA.

À lire : ChatGPT-5 confirme une date de sortie pour cet été

Un test sur les techniques littéraires, la théorie des jeux et les biais psychologiques montre que les IA identifient correctement les concepts dans 94,2 % du temps. Toutefois, les modèles échouent fréquemment à classifier les instances de concepts, à générer des exemples, à éditer des instances conceptuelles, respectivement à 55 %, 40 % et 40 %.

Comme pour l’erreur de rime AB-AB, les IA expliquent parfaitement des techniques littéraires d’un sonnet shakespearien, mais dans la moitié des cas, peinent à repérer, reproduire ou modifier un sonnet. Keyon Vafa explique que “l’existence des Potemkin signifie qu’un comportement qui indiquerait de la compréhension chez les humains n’indique pas de compréhension chez les IA.”

Les chercheurs recommandent de développer de nouvelles méthodes de tests au-delà des questions traditionnelles utilisées pour les humains, ou alors trouver un moyen d’éliminer ce comportement des IA. Une démarche importante pour faire un pas de plus vers l’intelligence artificielle générale, un objectif lointain si l’on en croit ces résultats.

Source : The Register