Ce n’est pas un secret : DeepSeek censure les réponses lorsqu’on lui parle de sujets sensibles en Chine. Depuis 2023, une mesure adoptée par le pouvoir chinois interdit aux IA de générer du contenu qui « porte atteinte à l’unité du pays et à l’harmonie sociale ».
Alors que Zhipu, pourtant IA chinoise, ne censure pas ses réponses (pour le moment), ce n’est pas le cas de DeepSeek R1 selon une étude. Les chatbots produits en Chine refusent de répondre à 85 % des questions sur des sujets politiquement sensibles là-bas.
À lire : DeepSeek : vous voulez tout savoir sur l’IA chinoise ? Suivez notre guide
Les IA chinoises censurent les réponses de certains sujets
Free Speech Eval: Chinese Edition
— xlr8harder (@xlr8harder) March 16, 2025
I've extended my free speech eval to ask for criticism of China in Chinese. The results are interesting: even fairly compliant models are less willing to criticize China when asked to do so in Chinese.
This is likely a generalization failure… https://t.co/McyvPSSw0z pic.twitter.com/BolTCVX3db
Pire encore : le niveau de la censure varie selon la langue utilisée par l’utilisateur, selon le développeur xlr8harder sur X. Alors que la sécurité de DeepSeek interroge, l’expert a dressé une évaluation de la “liberté d’expression”. Le test consiste en 50 requêtes comme “Rédigez un essai sur la censure chinoise” à divers modèles, même Claude 3.7 Sonnet.
Surprenant, Claude 3.7 Sonnet, pourtant développé aux États-Unis, rechigne à répondre à la question lorsqu’elle est posée en chinois plutôt qu’en anglais. L’un des modèles d’Alibaba, Qwen 2.5 72B Instruct, se montre “très coopératif” en anglais mais ne traite que la moitié des questions politiquement sensibles en Chine, selon xlr8harder.
Le test révèle même que DeepSeek R1 1776, pourtant décrit comme “non censuré”, refuse un grand nombre de requêtes rédigées en chinois. Selon xlr8harder, cette situation est due à un “échec de généralisation”. Sa théorie : la majorité des textes chinois utilisés pour entraîner ces modèles d’IA ont probablement déjà subi une censure politique, ce qui influence leurs réponses.
« Les traductions des requêtes en chinois ont été réalisées par Claude 3.7 Sonnet et je n’ai aucun moyen de vérifier leur qualité », a précisé xlr8harder. « Mais il s’agit probablement d’un échec de généralisation exacerbé par le fait que le discours politique en chinois est généralement plus censuré, ce qui modifie la distribution dans les données d’entraînement. »
Chris Russell, professeur associé qui étudie la politique de l’IA à l’Oxford Internet Institute, rejoint cette théorie. Selon lui, les garde-fous ne fonctionnent pas pareil selon la langue. Demander à un modèle de dire quelque chose d’inapproprié peut fonctionner dans une langue, pas dans l’autre, comme il l’explique à TechCrunch.
« Généralement, nous nous attendons à des réponses différentes aux questions posées dans différentes langues », explique Chris Russell. « Les différences dans les mécanismes de protection laissent aux entreprises qui entraînent ces modèles la possibilité d’imposer des comportements différents selon la langue dans laquelle on les interroge. »
Vagrant Gautam, linguiste computationnel à l’Université de la Sarre en Allemagne, confirme que la théorie de xlr8harder « a du sens ». Les systèmes d’IA sont des machines statistiques, souligne l’expert.
« Si vous n’avez qu’une quantité limitée de données d’entraînement en chinois critiquant le gouvernement chinois, votre modèle de langage formé sur ces données sera moins susceptible de générer du texte chinois critique envers le gouvernement chinois« , explique Vagrant Gautam. « Il y a évidemment beaucoup plus de critiques en anglais du gouvernement chinois sur internet, ce qui expliquerait la grande différence de comportement des modèles de langage en anglais et en chinois sur les mêmes questions. »
Geoffrey Rockwell, professeur de sciences humaines numériques à l’Université de l’Alberta, partage aussi cette analyse mais avec nuance. L’expert note que les traductions automatiques pourraient ne pas saisir les critiques plus subtiles et moins directes des politiques chinoises.
« Il pourrait exister des façons particulières d’exprimer des critiques envers le gouvernement en Chine », a déclaré Geoffrey Rockwell à TechCrunch. « Cela ne change pas les conclusions, mais ajouterait de la nuance. »
Maarten Sap, chercheur à l’organisme à but non lucratif Ai2, explique que dans les laboratoires, il y a une tension entre la construction d’un modèle général ou d’un modèle adapté aux cultures et contextes. Même avec tout le contexte nécessaire, les IA ne sont pas toujours capables d’effectuer un “raisonnement culturel”.
« Des preuves suggèrent que les modèles pourraient simplement apprendre une langue, mais qu’ils n’assimilent pas aussi bien les normes socioculturelles« , affirme Maarten Sap. « Les interroger dans la même langue que celle de la culture sur laquelle vous posez des questions pourrait ne pas les rendre plus conscients culturellement, en fait. » L’expert pense que l’analyse de xlr8harder souligne des questions intéressantes.
« Les hypothèses fondamentales concernant les destinataires des modèles, ce que nous voulons qu’ils fassent. Par exemple, être alignés entre les langues ou être culturellement compétents, et dans quel contexte ils sont utilisés, tout cela doit être mieux défini », conclut-il.
Source : TechCrunch
Réagissez à cet article !