ChatGPT partage vos conversations privées avec la police : la surveillance de masse est déjà là

Les récits d’anticipation en parlent depuis des décennies. La réalité rattrape la fiction puisque ChatGPT analyse vos conversations et peut même les transmettre aux autorités. C’est dans un billet de blog qu’OpenAI a discrètement dévoilé que les messages des utilisateurs sont scannés pour détecter certains contenus dangereux. Dans les cas les plus graves, il est possible que la police intervienne.

OpenAI explique : « Quand nous détectons des utilisateurs qui planifient de faire du mal à autrui, nous dirigeons les conversations vers des pipelines spécialisés où elles sont examinées par une petite équipe formée à nos politiques d’utilisation et autorisée à prendre des mesures incluant le bannissement des comptes. »

OpenAI pourrait partager vos conversations privées avec les autorités

OpenAI précise : « Si les examinateurs humains déterminent qu’un cas implique une menace imminente de préjudice physique grave envers autrui, nous pouvons le référer aux forces de l’ordre. » La start-up de Sam Altman, qui vient tout juste de lancer GPT-5, se réserve donc le droit des transférer certaines conversations.

Beaucoup d’incidents dramatiques à cause de l’IA ont eu lieu. On parle de cas d’automutilation, de délire, d’hospitalisation, d’arrestation et même de suicides, comme celui d’Adam Raine, un adolescent de 16 ans. Les experts n’hésitent désormais plus à parler d’une « psychose de l’IA ». ChatGPT a été impliqué à plusieurs reprises. Et ça étonne peu lorsque l’on sait qu’OpenAI craint que son chatbot ne soit utilisé pour fabriquer des armes biologiques.

OpenAI précise toutefois que « les cas d’automutilation ne sont pas signalés aux forces de l’ordre pour respecter la vie privée des gens, étant donné la nature très privée des interactions avec ChatGPT ». La start-up reste floue sur les éléments exacts qui déclenchent un signalement auprès des autorités. Les règles d’utilisation d’OpenAI interdisent d’utiliser ChatGPT pour « promouvoir le suicide ou l’automutilation, développer ou utiliser des armes, blesser autrui ou détruire des biens, ou s’engager dans des activités non autorisées qui violent la sécurité d’un service ou d’un système ». Mais la frontière entre ce qui est juste bloqué ou signalé aux autorités reste floue.

OpenAI refuse pourtant de partager les conversations dans ses procès

OpenAI est quelque peu de mauvaise foi avec cette nouvelle politique. La start-up parle de la protection de la vie privée des utilisateurs pour refuser de fournir les conversations de ChatGPT dans le cadre de son procès contre le New York Times et d’autres éditeurs. Les médias cherchent à savoir si leurs contenus protégés par le copyright ont été utilisés pour entraîner les modèles d’IA.

Rappelons que même Sam Altman a expliqué pendant un podcast que ChatGPT n’est pas un bon thérapeute ou avocat, notamment car il n’y a pas la même confidentialité qu’une consultation avec un humain en chair et en os. Mais à cause du procès contre le New York Times et d’autres éditeurs, la start-up pourrait transmettre des conversations privées aux tribunaux.

OpenAI a beau être le leader de l’IA, ChatGPT a déjà montré qu’il existe beaucoup de vulnérabilités au jailbreak. Il s’agit de techniques pour contourner les garde-fous et obtenir des réponses pourtant interdites, comme fabriquer des neurotoxines ou des méthodes pour se suicider. OpenAI semble incapable de contrôler suffisamment sa technologie pour protéger les utilisateurs vulnérables.

L’entreprise se rabat donc sur une stratégie de modération lourde qui contredit ses propres promesses de confidentialité en fournissant des conversations sensibles aux autorités. La start-up fait face aux conséquences désastreuses sur la santé mentale de certains utilisateurs.

Source : OpenAI