Papel: Stable Diffusion “memoriza” algunas imágenes, lo que genera problemas de privacidad

Una imagen del conjunto de entrenamiento de Stable Diffusion en comparación con una generación similar de Stable Diffusion cuando se le solicita con
Agrandar / Una imagen del conjunto de entrenamiento de Stable Diffusion comparada (izquierda) con una generación similar de Stable Diffusion (derecha) cuando se le solicita “Ann Graham Lotz”.

Carlini et al., 2023

El lunes, un grupo de investigadores de IA de Google, DeepMind, UC Berkeley, Princeton y ETH Zurich publicó un papel

describiendo un ataque adversario que puede extraer un pequeño porcentaje de imágenes de entrenamiento de modelos de síntesis de imágenes de IA de difusión latente como Stable Diffusion. Desafía las opiniones de que los modelos de síntesis de imágenes no memorizan sus datos de entrenamiento y que los datos de entrenamiento podría permanecer
privado si no se revela.

Recientemente, los modelos de síntesis de imágenes de IA han sido objeto de un intenso debate ético e incluso de acciones legales. Promotores y opositores de las herramientas de IA generativa discutir regularmente

sobre las implicaciones de privacidad y derechos de autor de estas nuevas tecnologías. Agregar combustible a cualquiera de los lados del argumento podría afectar drásticamente la posible regulación legal de la tecnología y, como resultado, este último artículo, escrito por Nicholas Carlini et al.ha despertado los oídos en los círculos de IA.

Sin embargo, los resultados de Carlini no son tan claros como pueden parecer a primera vista. Descubrir instancias de memorización en Stable Diffusion requirió 175 millones de generaciones de imágenes para probar y conocer previamente las imágenes entrenadas. Los investigadores solo extrajeron 94 coincidencias directas y 109 coincidencias casi perceptuales de las 350 000 imágenes de alta probabilidad de memorización que probaron (un conjunto de duplicados conocidos en el conjunto de datos de 160 millones de imágenes que se usó para entrenar la Difusión estable), lo que resultó en aproximadamente 0,03 porcentaje de tasa de memorización en este escenario particular.

</p>
<p>Imágenes de ejemplo que los investigadores extrajeron de Stable Diffusion v1.4 mediante un procedimiento de inferencia de pertenencia y muestreo aleatorio, con las imágenes originales en la fila superior y las imágenes extraídas en la fila inferior.” src=”https://cdn.arstechnica.net/wp-content/uploads/2023/02/duplicate_images_1-640×198.jpg” width=”640″ height=”198″ srcset=”https://cdn.arstechnica.net/wp-content/uploads/2023/02/duplicate_images_1-1280×395.jpg 2x”/></a><figcaption class=
Agrandar /

Imágenes de ejemplo que los investigadores extrajeron de Stable Diffusion v1.4 utilizando un procedimiento de inferencia de membresía y muestreo aleatorio, con imágenes originales en la fila superior e imágenes extraídas en la fila inferior.

Carlini et al., 2023

Además, los investigadores señalan que la “memorización” que han descubierto es aproximada, ya que el modelo de IA no puede producir copias idénticas byte por byte de las imágenes de entrenamiento. Por definición, difusión estable no puede memorizar grandes cantidades de datos porque el tamaño del conjunto de datos de entrenamiento de 160 000 millones de imágenes es muchos órdenes de magnitud mayor que el modelo de IA de difusión estable de 2 GB. Eso significa que cualquier memorización que exista en el modelo es pequeña, rara y muy difícil de extraer accidentalmente.

Implicaciones de privacidad y derechos de autor

Aún así, incluso cuando está presente en cantidades muy pequeñas, el documento parece mostrar que existe una memorización aproximada en los modelos de difusión latente, y eso podría tener implicaciones para la privacidad de los datos y los derechos de autor. Los resultados pueden algún día afectar la posible regulación de la síntesis de imágenes si los modelos de IA se consideran “bases de datos con pérdida” que pueden reproducir datos de entrenamiento, como un experto en IA especuló. Aunque teniendo en cuenta la tasa de aciertos del 0,03 por ciento, tendrían que considerarse bases de datos con muchas pérdidas, tal vez en un grado estadísticamente insignificante.

Al entrenar un modelo de síntesis de imágenes, los investigadores introducen millones de imágenes existentes en el modelo desde un conjunto de datos, normalmente obtenido de la web pública. Luego, el modelo comprime el conocimiento de cada imagen en una serie de pesos estadísticos, que forman la red neuronal. Este conocimiento comprimido se almacena en una representación de menor dimensión llamada “espacio latente”. El muestreo de este espacio latente permite que el modelo genere nuevas imágenes con propiedades similares a las del conjunto de datos de entrenamiento.

Si, mientras se entrena un modelo de síntesis de imágenes, la misma imagen está presente muchas veces en el conjunto de datos, puede resultar en un “sobreajuste”, lo que puede resultar en generaciones de una interpretación reconocible de la imagen original. por ejemplo, el Mona Lisa se ha encontrado que tiene esta propiedad en Difusión Estable. Esa propiedad permitió a los investigadores apuntar a imágenes duplicadas conocidas en el conjunto de datos mientras buscaban la memorización, lo que amplificó drásticamente sus posibilidades de encontrar una coincidencia memorizada.

En ese sentido, los investigadores también experimentaron con las 1000 imágenes de entrenamiento más duplicadas en el Google Imagen modelo de IA y encontró una tasa porcentual de memorización mucho más alta (2,3 por ciento) que la difusión estable. Y al entrenar sus propios modelos de IA, los investigadores descubrieron que los modelos de difusión tienen una tendencia a memorizar imágenes más que GAN.

Eric Wallace, uno de los autores del artículo, compartió algunos pensamientos personales sobre la investigación en un Hilo de Twitter. Como se indica en el documento, sugirió que los creadores de modelos de IA deberían deduplicar sus datos para reducir la memorización. También señaló que el modelo de Stable Diffusion es pequeño en relación con su conjunto de entrenamiento, por lo que es probable que los modelos de difusión más grandes memoricen más. Y desaconsejó aplicar los modelos de difusión actuales a dominios sensibles a la privacidad como las imágenes médicas.

Como muchos artículos académicos, Carlini et al. 2023 está lleno de matices que podrían moldearse para adaptarse a una narrativa particular a medida que se desarrollan las demandas en torno a la síntesis de imágenes, y los autores del artículo son conscientes de que su investigación puede entrar en juego legal. Pero, en general, su objetivo es mejorar los modelos de difusión futuros y reducir los daños potenciales de la memorización: “Creemos que publicar nuestro artículo y divulgar públicamente estas vulnerabilidades de privacidad es ético y responsable. De hecho, en este momento, nadie parece verse perjudicado de inmediato. por la (falta de) privacidad de los modelos de difusión; nuestro objetivo con este trabajo es, por lo tanto, asegurarnos de evitar estos daños y fomentar el entrenamiento responsable de los modelos de difusión en el futuro”.

Leave a Reply

Your email address will not be published. Required fields are marked *