Stable Diffusion es de código abierto, lo que significa que cualquiera puede analizarlo e investigarlo. Imagen está cerrada, pero Google concedió acceso a los investigadores. Singh dice que el trabajo es un gran ejemplo de lo importante que es dar acceso a la investigación a estos modelos para el análisis, y argumenta que las empresas deberían ser igualmente transparentes con otros modelos de IA, como ChatGPT de OpenAI.
Sin embargo, aunque los resultados son impresionantes, vienen con algunas advertencias. Las imágenes que los investigadores lograron extraer aparecieron varias veces en los datos de entrenamiento o eran muy inusuales en relación con otras imágenes en el conjunto de datos, dice Florian Tramèr, profesor asistente de informática en ETH Zürich, que formó parte del grupo.
Las personas que se ven inusuales o tienen nombres inusuales corren un mayor riesgo de ser memorizados, dice Tramèr.
Los investigadores solo pudieron extraer relativamente pocas copias exactas de las fotos de las personas del modelo de IA: solo una en un millón de imágenes eran copias, según Webster.
Pero eso sigue siendo preocupante, dice Tramèr: “Realmente espero que nadie mire estos resultados y diga ‘Oh, en realidad, estos números no son tan malos si es solo uno en un millón'”.
“El hecho de que sean más grandes que cero es lo que importa”, añade.