C'était l'une des craintes principales des créateurs de Stable Diffusion. C'est désormais une réalité : l'IA de la plateforme sert désormais à générer du contenu pornographique.
De fait, la cause provient de la disponibilité d'une version open-source de Stable Diffusion, mise en ligne… par les créateurs du projet.
Stable Diffusion n'échappe pas à la règle 34…
Si vous n'avez pas (encore) entendu parler de Stable Diffusion, vous pourriez bien vous laisser tenter par la possibilité de générer une création artistique sans avoir à manipuler un appareil photo ni un pinceau. Si, à l'instar de Dall-E ou de Midjourney, de nombreux filtres empêchent de créer du contenu pornographique par le biais de la version standard de Stable Diffusion, les choses sont différentes avec la version open-source.
Accessible à tous depuis le 22 août dernier, cette dernière ne fait pas les affaires des créateurs de Stable Diffusion. Ils ont ainsi publié plusieurs messages d'avertissement, notamment par le biais de Twitter, pour inviter les internautes à ne pas générer d'images à caractère pornographique.
Or, tout comme le rappelle (tristement) L'ADN à propos de la « règle 34 d'Internet » : « Si quelque chose existe, il en existe une version porno. Sans exception. » Ainsi, de nombreuses personnes se sont empressées d'employer la version open-source de Stable Diffusion pour parvenir à leurs fins les plus coquines. Les possibilités de créations porno proviennent notamment de Large-scale Artificial Intelligence Open Network (LAION), une organisation à but non lucratif qui porte sur l'intelligence artificielle et qui détient dans sa base de données open-source 5B pas moins de 5,6 milliards d'images collectées sur Internet.
Des risques majeurs de dérive
Or, les créateurs de Stable Diffusion ont entraîné l'IA de leur suite avec LAION 5B, tout en ayant conscience de la présence de nombreuses images indécentes dans la base de données. En conséquence, l'échantillon d'images a été réduit à seulement 120 millions de contenus, et une IA a été entraînée pour noter les images de manière à éliminer au maximum celles à caractère pornographique. Hélas, cela n'a pas empêché malgré tout les internautes de créer du contenu plus ou moins coquin, et d'ouvrir la voie à deux dérives majeures.
La première concerne le « deepfake », à savoir le fait de générer par l'IA une image fausse… qui a tout d'une vraie. Le problème ici concerne surtout les célébrités, avec des deepfakes qui permettent de créer du faux contenu porno en employant leur image. Même si le serveur Discord Unstable Diffusion, sur lequel les internautes diffusent les contenus créés à partir de la version open-source de Stable Diffusion, prohibe ces contenus, on en trouve de nombreux sur 4Chan, Reddit et d'autres plateformes. Il vous suffit de taper « Stable Diffusion Porn » dans Google Images pour trouver pas moins de 5 détournements de l'actrice britannique Emma Watson dans les 30 premiers résultats de recherche…
La seconde dérive est celle de la pédopornographie. Si ces contenus sont également bannis du serveur Discord, l'existence de « prompts », des textes employés pour aider l'IA à générer l'image désirée, peut permettre d'en créer. Déjà décrié dans de nombreux milieux artistiques, le fait de générer des images par le biais de l'IA ne va pas faire que des émules avec de telles nouvelles.
Sources : L'ADN, Le Big Data
