OpenAI est formelle. La startup de Sam Altman dit qu’elle a trouvé l’origine des hallucinations. Il s’agit d’une tendance qui pose problème à tous les modèles qui inventent des réponses. Possiblement une révolution dans la manière dont les IA sont entraînées dans toute l’industrie.
Les hallucinations sont un véritable fléau pour toutes les IA, même ChatGPT qui perd la boule lorsqu’on lui parle de l’émoji hippocampe. Cette tendance mine totalement l’utilité de la technologie, puisque les utilisateurs se retrouvent face à des informations fausses et inventées de toutes pièces. Le problème s’aggrave même lorsque les modèles s’améliorent. Alors pourquoi investir des milliards de dollars dans ces IA qui perdent la boule dans certaines situations ?
Pourquoi les IA comme ChatGPT hallucinent ?
Alors qu’OpenAI développe GPT-6, ces modèles de pointe continuent à générer des informations inexactes lorsque la réponse est ignorée. GPT-5 a notamment été pointé du doigt pour cette raison, alors qu’OpenAI parlait d’un « niveau doctorat » pour ce modèle. Et, selon des chercheurs de l’entreprise, les modèles hallucinent car ils sont encouragés à deviner au lieu d’admettre leur ignorance pendant leur développement.
« Les hallucinations persistent en raison de la façon dont la plupart des évaluations sont notées. Les modèles de langage sont optimisés pour être de bons candidats au test, et imaginer en cas d’incertitude améliore les performances au test« , précise l’étude. Car voilà, les tests fonctionnent d’une manière totalement binaire : l’IA est récompensée pour les bonnes réponses et pénalisée pour les mauvaises. Alors forcément, les modèles sont poussés à supposer au lieu d’admettre qu’ils ont tort. Cette « pression statistique » pousse donc les modèles à inventer leurs réponses.
OpenAI constate que « la plupart des classements privilégiés classent les modèles selon leur précision, mais les erreurs sont pires que les abstentions ». L’entreprise admet donc une erreur très grave dans la conception des IA, dont chaque GPT. C’est l’ensemble de l’industrie qui est touché.
OpenAI a une « solution simple » pour réduire les hallucinations
Heureusement, la startup a une « solution simple » : « Pénaliser davantage les erreurs confiantes que l’incertitude et accorder un crédit partiel aux expressions appropriées d’incertitude. » Il faut donc que les futurs tests s’assurent que « leur notation décourage les suppositions ». OpenAI avertit : « Si les principaux classements continuent de récompenser les suppositions chanceuses, les modèles continueront d’apprendre à deviner. »
Les chercheurs concluent : « Des modifications simples des évaluations traditionnelles peuvent réaligner les incitations, récompensant les expressions appropriées d’incertitude plutôt que de les pénaliser. Cela peut supprimer les obstacles à la suppression des hallucinations et ouvrir la voie de futurs travaux sur des modèles de langage nuancé. »
Toutefois, l’efficacité de cette solution reste à démontrer. Si, sur le papier, cela semble une bonne idée, reste à voir si l’industrie suivra. Et pour cause, il faut que les entreprises justifient ces milliards de dollars d’investissement tout en gérant ce problème que sont les hallucinations. OpenAI le promet : « Les hallucinations sont un défi fondamental pour tous les grands modèles de langage, mais nous travaillons dur pour les réduire davantage. »
- OpenAI affirme avoir identifié la cause principale des hallucinations : des évaluations qui récompensent les suppositions, poussant les modèles à deviner plutôt qu’à admettre l’incertitude.
- La solution proposée consiste à modifier la notation des tests en pénalisant plus fortement les erreurs confiantes qu’une non-réponse et en accordant un crédit partiel aux expressions appropriées d’incertitude, pour réaligner les incitations.
- Si cette approche est adoptée à l’échelle de l’industrie, les benchmarks devront évoluer pour réduire les hallucinations, mais son efficacité réelle reste à prouver.
Source : OpenAI
Réagissez à cet article !