Après des semaines de pression de la part des groupes de défense et des gouvernements, X d’Elon Musk affirme qu’il va enfin faire quelque chose pour résoudre son problème de deepfake porn. Malheureusement, après des tests suite à l’annonce, certains retiennent encore leur souffle, dont moi.
Quand la controverse sur le X deepfake porno a-t-elle commencé ?
La controverse a commencé plus tôt en janvier, après que le site de médias sociaux a ajouté une fonctionnalité permettant aux utilisateurs de X de marquer Grok dans leurs publications et d’inviter l’IA à modifier instantanément toute image ou vidéo publiée sur le site, le tout sans l’autorisation de l’auteur original. Cette fonctionnalité semblait comporter peu de garde-fous et, selon les rapports de la société d’authentification par IA Copyleaks, ainsi que les déclarations des victimes sur des sites comme Metro, les affiches sur X ont rapidement commencé à l’utiliser pour générer des images explicites ou intimes de personnes réelles, en particulier des femmes. Dans certains cas, du matériel pédopornographique aurait également été produit.
C’est un truc assez bouleversant, et je ne vous conseillerais pas d’aller le chercher. Alors que la tendance initiale semblait se concentrer sur les photos IA de célébrités en bikini, les affiches sont rapidement passées à des images manipulées de personnes ordinaires où elles semblaient enceintes, sans jupe ou dans un autre type de situation sexualisée. Alors que Grok était techniquement capable de générer de telles images à partir de photos téléchargées auparavant, la facilité d’accès à celles-ci semblait ouvrir les vannes. En réponse à la controverse brassicole, Musk a demandé à Grok de générer une photo de lui en bikini. Cependant, les plaisanteries ont cessé après l’intervention des régulateurs.
Les gouvernements commencent à enquêter
Plus tôt cette semaine, le Royaume-Uni a lancé une enquête sur les allégations de deepfake pornographie de Grok, afin de déterminer si elles violaient les lois contre les images intimes non consensuelles ainsi que les images d’abus sexuels sur des enfants. La Malaisie et l’Indonésie sont allées plus loin, bloquant même l’accès de Grok à ces pays. Mercredi, la Californie a lancé ses propres enquêtes, le procureur général Rob Banta déclarant : « J’exhorte XAI à prendre des mesures immédiates pour garantir que cela n’aille pas plus loin. »
X implémente des blocs
En réponse à la pression, X a supprimé la possibilité de marquer Grok pour des modifications sur son site de réseau social pour tout le monde, à l’exception des abonnés. Cependant, l’application Grok, le site Web et le chatbot in-X (accessibles via la barre latérale de la version de bureau du site) sont toujours restés ouverts à tous, permettant au flot de photos IA truquées de se poursuivre (ces photos poseraient évidemment toujours les mêmes problèmes même si elles étaient générées uniquement par les abonnés, bien que X ait déclaré plus tard que l’objectif était d’endiguer la marée et de faciliter la responsabilisation des utilisateurs générant des images illégales).
Le Telegraph a rapporté mardi que X avait également commencé à bloquer les demandes Grok taguées visant à générer des images de femmes dans des scénarios sexualisés, mais que de telles images d’hommes étaient toujours autorisées. De plus, des tests effectués par des auteurs américains et britanniques de The Verge ont montré que les demandes interdites pouvaient toujours être adressées directement au site Web ou à l’application de Grok.
Musk a adopté un ton plus sérieux dans des commentaires plus récents sur la question, niant la présence de matériel d’abus sexuel sur des enfants sur le site, bien que diverses réponses à ses messages aient exprimé leur incrédulité et prétendu prouver le contraire. Faites défiler à votre propre discrétion.
Tout en essayant de mettre enfin un terme à la controverse, X a déclaré mercredi dans un blog sur la sécurité qu’il bloquerait désormais toutes les demandes adressées au compte Grok pour des images de personnes réelles portant des vêtements révélateurs, quel que soit leur sexe et qu’elles proviennent d’abonnés payants ou non. Mais pour tous ceux qui espèrent que cela marquera la fin de cette histoire, il semble y avoir des petits caractères.
Plus précisément, alors que la déclaration indiquait qu’elle ajouterait ces garde-fous à tous les utilisateurs marquant le compte Grok sur X, le site Web et l’application Grok autonomes n’étaient pas mentionnés dans la version initiale du projet. Cela a depuis été mis à jour, comme m’a été informé par un porte-parole de X par courrier électronique vendredi, mais il semble toujours exister des moyens de générer ces images.
Par exemple, la déclaration indique qu’elle bloquera également la création de telles images dans « Grok on X », faisant référence à la version in-X du chatbot, mais ce n’est pas un blocage total. Au lieu de cela, les images seront « géobloquées », ce qui signifie qu’elles ne seront appliquées que « dans les juridictions où elles sont illégales ». Des géoblocages sont également apparemment ajoutés à l’application Grok, comme indiqué dans la déclaration, mais un blocage complet n’est mentionné que pour le compte Grok sur X. Le site Web Grok n’est toujours pas mentionné non plus. Personnellement, même si cela répond techniquement au strict minimum légal, ce n’est pas le choix que je ferais, car cela laisse aux utilisateurs la possibilité de générer (ou de laisser d’autres générer) les images par eux-mêmes, puis de les publier manuellement sur le site.
Il est important de noter que, même si la majorité des critiques adressées à X au cours de cette débâcle n’accusent pas le site de générer des images entièrement nues, des endroits comme le Royaume-Uni interdisent les images explicites non consensuelles, qu’elles soient entièrement nues ou non. Déshabiller virtuellement un sujet jusqu’aux sous-vêtements sans son consentement pourrait suffire à déclencher une action en justice.
Certains utilisateurs peuvent toujours générer des deepfakes sexualisés
Il s’agit de la plus grande répression jamais menée contre ces images par X, mais pour l’instant, les failles sont apparentes. Selon des tests plus approfondis effectués par The Verge, les journalistes du site étaient toujours capables de générer des deepfakes révélateurs même après l’annonce de mercredi, en utilisant l’application Grok non mentionnée à l’origine dans la mise à jour. Jeudi, lorsque j’ai tenté cela en utilisant une photo de moi-même, l’application Grok et le site Web autonome de Grok m’ont quand même donné des images truquées de tout mon corps, révélant des vêtements non présents dans la photo originale. J’ai également pu générer ces images à l’aide du chatbot in-X Grok, et certaines images ont également modifié ma pose pour la rendre plus provocante (ce que je n’ai pas demandé).
J’ai réessayé d’utiliser l’application Grok vendredi, après que le blog de sécurité de X ait été mis à jour pour mentionner que des géoblocages lui étaient appliqués, et j’ai toujours pu générer ces images.
Il est donc probable que la bataille se poursuive. On ne sait pas clairement si la possibilité pour certains utilisateurs de continuer à générer ces images est un oubli ou si X cherche uniquement à bloquer ses trous les plus visibles. On pourrait espérer que ce soit le premier, étant donné que X a déclaré avoir « une tolérance zéro pour toute forme d’exploitation sexuelle des enfants, de nudité non consensuelle et de contenu sexuel non désiré ».
Il convient de noter que je vis dans l’État de New York, qui ne fait peut-être pas partie du géoblocage, bien que nous ayons une loi contre les deepfakes explicites et non consensuels. Il est possible que le blocage géographique de mon emplacement soit toujours en cours de mise en œuvre, mais cela pourrait également indiquer que les mesures de protection sont toujours défaillantes.
Lorsque j’ai contacté X pour obtenir des éclaircissements sur le problème, on m’a indiqué le blog de sécurité mis à jour, mais pas la liste des emplacements où des blocages géographiques sont mis en œuvre, ce que j’ai également demandé. Je continuerai d’essayer d’obtenir des réponses sur ce front et mettrai à jour ce message si j’ai une réponse.
Pendant ce temps, tandis que les gouvernements poursuivent leurs enquêtes sur la situation juridique, d’autres demandent une action plus immédiate de la part des magasins d’applications. Une lettre envoyée par les sénateurs américains Ron Wyden, Ben Ray Lujan et Ed Markey au PDG d’Apple, Tim Cook, et au PDG de Google, Sundar Pichai, affirme que l’application de Musk viole désormais clairement les politiques de l’App Store et de Google Play, et appelle les leaders technologiques à « supprimer ces applications des magasins d’applications (Apple et Google) jusqu’à ce que les violations des politiques de X soient résolues ».
