Imágenes y vídeos no consensuales generados por IA que parecían mostrar a la cantante Taylor Swift realizando actos sexuales inundaron X, el sitio anteriormente conocido como Twitter, la semana pasada, y se informó que una publicación fue vista 45 millones de veces antes de ser eliminada. La avalancha de pornografía “deepfake” generada por IA persistió durante días y solo disminuyó después de X resultados de búsqueda prohibidos brevemente para el nombre del cantante en la plataforma por completo. Ahora, los legisladores, defensores y fanáticos de Swift están utilizando la falla de moderación de contenido para El combustible exige nuevas leyes que criminalizan claramente la difusión en línea de deepfakes de naturaleza sexual generados por IA.
¿Cómo se difundieron los deepfakes de Taylor Swift?
Muchos de los deepfakes de Swift generados por IA según se informa se originó en el foro de mensajes notoriamente misógino 4chan y un puñado de canales privados de Telegram relativamente oscuros. La semana pasada, algunos de ellos dieron el salto a X, donde rápidamente comenzaron a extenderse como la pólvora. Numerosas cuentas inundaron X con material deepfake, hasta el punto de que buscando el término “Taylor Swift AI” serviría las imágenes y videos. En algunas regiones, El borde notas, ese mismo hashtag apareció como tema de tendencia, lo que finalmente amplificó aún más los deepfakes. Según se informa, una publicación en particular recibió 45 millones de visitas y 24.000 reenvíos antes de que finalmente fuera eliminada. A pesar de ello, se necesitaron X 17 horas para eliminar la publicación. violar los términos de servicio de la empresa
X no respondió de inmediato a ciencia popSolicitud de comentarios.
La publicación de imágenes de desnudos no consensuales (NCN) está estrictamente prohibida en X y tenemos una política de tolerancia cero hacia dicho contenido. Nuestros equipos están eliminando activamente todas las imágenes identificadas y tomando las medidas adecuadas contra las cuentas responsables de publicarlas. Estamos de cerca…
— Seguridad (@Seguridad) 26 de enero de 2024
Con la proliferación de nuevas iteraciones de deepfakes, los moderadores de X intervinieron el domingo y bloquearon los resultados de búsqueda de “Taylor Swift” y “Taylor Swift AI” en la plataforma. Usuarios que buscaron el nombre de la estrella del pop en la plataforma durante varios días según se informa Vi un mensaje de error que decía “algo salió mal”. X abordó oficialmente el tema en un tweet la semana pasada, diciendo que estaba monitoreando activamente la situación y tomando “medidas apropiadas” contra las cuentas que difunden el material.
La legión de fanáticos de Swift tomó el asunto en sus propias manos la semana pasada al publicar imágenes no sexualizadas de la estrella del pop con el hashtag #ProtectTaylorSwift en un esfuerzo por ahogar los deepfakes. Otros se unieron para denunciar cuentas que subieron material pornográfico. La plataforma levantó oficialmente la prohibición de dos días
“La búsqueda se ha vuelto a habilitar y continuaremos atentos a cualquier intento de difundir este contenido y lo eliminaremos si lo encontramos”, dijo el director de negocios de X, Joe Benarroch, en un comunicado enviado a la Wall Street Journal.
¿Por qué pasó esto?
Los deepfakes sexualizados de Swift y otras celebridades aparecen en otras plataformas, pero los expertos en políticas y privacidad dijeron que El enfoque exclusivo de X para la moderación de contenidos tras su adquisición por parte del multimillonario Elon Musk fueron al menos en parte culpables de la viralidad única del evento. En enero, X tenía Según se informa, alrededor del 80% de los ingenieros que trabajaban en equipos de confianza y seguridad fueron despedidos. desde que Musk tomó el mando.
Esa destrucción de la línea principal de defensas de la plataforma contra el contenido infractor hace que un desafío de moderación de contenido que ya es difícil sea aún más difícil, especialmente durante los momentos virales en los que los usuarios inundan la plataforma con más contenido potencialmente infractor. Otras plataformas tecnológicas importantes administradas por Meta, Google y Amazon han reducido de manera similar sus propios equipos de confianza y seguridad en los últimos años, lo que algunos temen que pueda provocará un aumento de la desinformación y los deepfakes en los próximos meses.
Los trabajadores de confianza y seguridad aún revisan y eliminan parte del contenido infractor en X, pero la empresa abiertamente dependió más de herramientas de moderación automatizadas
Los clones deepfake de IA de políticos y celebridades prominentes han aumentado la ansiedad sobre cómo se podría utilizar la tecnología para difundir información errónea o influir en las elecciones, pero la pornografía no consensuada sigue siendo el caso de uso dominante. Estas imágenes y videos a menudo se crean utilizando herramientas de inteligencia artificial generativa de código abierto menos conocidas desde modelos populares como OpenAI. DALL-E prohíbe explícitamente el contenido sexualmente explícito. Los avances tecnológicos en IA y el mayor acceso a las herramientas, a su vez, han contribuyó a una mayor cantidad de deepafkes sexuales En la red.
Investigadores en 2021 estimado que entre el 90 y el 95% de los deepfakes que existen en Internet eran de pornografía sexual no consensuada, la inmensa mayoría de los cuales estaban dirigidos a mujeres. Esa tendencia no muestra signos de desaceleración. Un investigador independiente Hablando con Wired Recientemente se estimó que se subió más pornografía deepfake en 2023 que en todos los demás años combinados. El material de abuso sexual infantil generado por IA, algunos de los cuales se crean sin imágenes humanas reales, también son supuestamente en aumento.
Cómo los seguidores de Swift podrían influir en la legislación tecnológica
La influencia cultural tectónica de Swift y su base de fans particularmente vocal están ayudando a revitalizar los esfuerzos de años para introducir y aprobar leyes que apunten explícitamente a los deepfakes no consensuados. En los días transcurridos desde que el material deepfake comenzó a difundirse, figuras importantes como Satya Nadella, director ejecutivo de Microsoft e incluso La Casa Blanca del presidente Joe Biden han intervenido, pidiendo acción. Varios miembros del Congreso, incluida la representante demócrata de Nueva York, Yvette Clarke, y el representante republicano de Nueva Jersey, Tom Kean Jr. declaraciones publicadas promover una legislación que intentaría criminalizar el intercambio de pornografía deepfake no consensuada. Kean Jr. Uno de esos proyectos de ley, llamado Ley de prevención de deepfakes de imágenes íntimaspodría presentarse a votación este año.
La pornografía deepfake y los esfuerzos legislativos para combatirla no son nuevos, pero la repentina asociación de Swift con el tema podría servir como un acelerador social. Un eco de este fenómeno se produjo en 2022 cuando el Departamento de Justicia anunció que iniciar una investigación antimonopolio en Live Master después de que su sitio se derrumbara debido a la demanda de entradas anticipadas para la gira “The Eras” de Swift. El incidente reavivó las quejas de algunos fans de la música hacia Live Nation y sus supuestas prácticas monopólicas, hasta el punto de que ejecutivos de la compañía se vieron obligados a asistir a una Audiencia del Comité Judicial del Senado interrogarlos sobre sus prácticas comerciales. Varios legisladores hicieron declaraciones públicas apoyando la “ruptura” Live Nation-Ticketmaster.
Queda por ver si esta vez se produce o no el mismo nivel de movilización política con los deepfakes. Aun así, el aumento del interés por las leyes que reinan en los casos de uso más oscuros de la IA tras la debacle del deepfake de Swift apunta al poder de hacer que figuras culturalmente relevantes adjunten sus nombres a actividades políticas que de otro modo serían menos conocidas. Esa relevancia puede ayudar a que los proyectos de ley lleguen a lo más alto de las agendas cuando, de lo contrario, habrían estado destinados a la oscuridad.