Les hallucinations sont une véritable plaie pour les utilisateurs de ChatGPT, mais aussi pour les autres IA. Et alors qu’OpenAI a trouvé la solution, un expert explique qu’elle pourrait faire disparaître le chatbot. Et pour cause, il y a une réalité économique, mais aussi les habitudes des utilisateurs.
OpenAI a expliqué dans un article de blog que ChatGPT et les autres modèles de langage sont « optimisés pour réussir les tests ». Pour ce faire, les chatbots « devinent en cas d’incertitude » afin d’améliorer les performances aux examens, « d’où ces hallucinations fréquentes ». OpenAI propose donc sa solution : modifier les tests pour « pénaliser davantage les erreurs confiantes que l’incertitude » et accorder un petit crédit aux réponses pleines d’incertitude.
Les hallucinations permettent à ChatGPT d’exister
Wei Xing, expert en optimisation IA à l’université de Sheffield, tire la sonnette d’alarme : les entreprises IA n’ont aucune raison économique de cesser les hallucinations. Dans un article pour The Conversation, le spécialiste explique qu’une telle décision augmenterait les coûts. Pire encore, si ChatGPT admet son ignorance au lieu d’halluciner, les utilisateurs habitués aux réponses confiantes pourraient être découragés, même si elles sont habituellement incorrectes.
Les utilisateurs de ChatGPT pourraient rapidement l’abandonner si le chatbot avoue ne pas connaître la réponse dans seulement 30 % des cas. « Les utilisateurs habitués à recevoir des réponses confiantes à pratiquement toutes les questions abandonneraient probablement rapidement de tels systèmes », écrit le chercheur.
Les méthodes actuelles pour quantifier l’incertitude demandent « significativement plus de calculs que l’approche actuelle ». Et pour cause : il faut que les modèles évaluent toutes les réponses possibles pour estimer les niveaux de confiance. « Pour un système traitant des millions de requêtes quotidiennement, cela se traduit par des coûts opérationnels dramatiquement plus élevés », souligne Wei Xing.
L’escalade des dépenses pourrait donc être désastreuse au moment où les entreprises investissent des milliards de dollars dans des infrastructures pour faire tourner des modèles très gourmands en énergie. Le retour sur investissement est encore éloigné de plusieurs années, voire des décennies. Les dizaines de milliards de dollars dépensés dépassent les revenus très modestes. L’augmentation des coûts déjà astronomiques, alors que les utilisateurs sont rebutés par des IA moins confiantes, pourrait compliquer la situation des sociétés comme OpenAI qui prépare GPT-6.
Si les hallucinations disparaissent, les coûts vont exploser
Wei Xing pense que la solution proposée par OpenAI pourrait fonctionner pour « les IA gérant des opérations commerciales critiques ou des infrastructures économiques, où le coût des hallucinations dépasse largement les frais pour amener les modèles à décider s’ils sont trop incertains ». Toutefois, « les applications grand public dominent encore les priorités de développement de l’IA », ajoute-t-il. Wei Xing précise : « Les utilisateurs veulent des systèmes qui fournissent des réponses confiantes à toute question ».
Alors, pour faire simple, les hallucinations restent moins chères pour les entreprises IA, ce qui les place face à un dilemme : diminuer les hallucinations ou non. Les hallucinations resteront toujours l’option la plus économique pour les sociétés. Pour Wei Xing, OpenAI « souligne involontairement une vérité inconfortable ». L’expert conclut : « Les incitations commerciales qui dirigent le développement de l’IA grand public restent fondamentalement désalignées avec la réduction des hallucinations. Tant que ces incitations ne changeront pas, les hallucinations persisteront. »
- OpenAI attribue les hallucinations à des évaluations qui récompensent les suppositions et propose de pénaliser davantage les erreurs confiantes tout en accordant un crédit partiel à l’incertitude.
- Selon Wei Xing, cette approche ferait grimper le coût de calcul et ferait fuir des utilisateurs habitués à des réponses assurées, au point de réduire l’attrait de ChatGPT.
- Elle n’a vraiment de sens que pour des usages critiques où l’erreur coûte cher, tandis que le grand public et les incitations économiques actuelles favorisent le maintien des hallucinations.
Source : The Conversation
Réagissez à cet article !