El fundador de Midjourney, David Holz, dice que está prohibiendo estas palabras como una medida provisional para evitar que las personas generen contenido impactante o sangriento mientras la compañía “mejora las cosas en el lado de la IA”. Holz dice que los moderadores observan cómo se usan las palabras y qué tipo de imágenes se generan, y ajustan las prohibiciones periódicamente. La firma tiene un página de pautas de la comunidad que enumera el tipo de contenido que bloquea de esta manera, incluidas imágenes sexuales, gore e incluso el emoji 🍑, que a menudo se usa como símbolo de las nalgas.
Los modelos de IA como Midjourney, DALL-E 2 y Stable Diffusion se entrenan en miles de millones de imágenes que se han extraído de Internet. Investigación por un equipo de la Universidad de Washington descubrió que tales modelos aprenden sesgos que cosifican sexualmente a las mujeres, que luego se reflejan en las imágenes que producen. El enorme tamaño del conjunto de datos hace que sea casi imposible eliminar las imágenes no deseadas, como las de naturaleza sexual o violenta, o aquellas que podrían producir resultados sesgados. Cuanto más a menudo aparece algo en el conjunto de datos, más fuerte es la conexión que hace el modelo de IA, lo que significa que es más probable que aparezca en las imágenes que genera el modelo.
Las prohibiciones de palabras de Midjourney son un intento fragmentario de abordar este problema. Algunos términos relacionados con el sistema reproductivo masculino, como “esperma” y “testículos”, también están bloqueados, pero la lista de palabras prohibidas parece ser predominantemente femenina.
La pronta prohibición fue detectada por primera vez por Julia Rockwell, analista de datos clínicos en Datafy Clinical, y su amiga Madeline Keenen, bióloga celular de la Universidad de Carolina del Norte en Chapel Hill. Rockwell usó Midjourney para tratar de generar una imagen divertida de la placenta para Keenen, quien las estudia. Para su sorpresa, Rockwell descubrió que estaba prohibido usar “placenta” como mensaje. Luego comenzó a experimentar con otras palabras relacionadas con el sistema reproductivo humano y encontró lo mismo.
Sin embargo, la pareja también mostró cómo es posible sortear estas prohibiciones para crear imágenes sexualizadas mediante el uso de diferentes ortografías de palabras u otros eufemismos para contenido sexual o sangriento.
En los hallazgos que compartieron con ., encontraron que el rápido “examen ginecológico”, usando la ortografía británica, generó algunas imágenes profundamente espeluznantes: una de dos mujeres desnudas en el consultorio de un médico y otra de una persona calva de tres extremidades cortando hasta su propio estómago.
JULIA ROCKWELL
La cruda prohibición de Midjourney de las indicaciones relacionadas con la biología reproductiva destaca lo complicado que es moderar el contenido en torno a los sistemas generativos de IA. También demuestra cómo la tendencia de los sistemas de inteligencia artificial a sexualizar a las mujeres se extiende hasta sus órganos internos, dice Rockwell.