Vea cuán sesgados son los modelos de imágenes de IA para usted con estas nuevas herramientas

Una teoría de por qué podría ser eso es que las personas de color no binarias pueden haber tenido más visibilidad en la prensa recientemente, lo que significa que sus imágenes terminan en los conjuntos de datos que los modelos de IA usan para el entrenamiento, dice Jernite.

OpenAI y Stability.AI, la compañía que creó Stable Diffusion, dicen que han introducido correcciones para mitigar los sesgos arraigados en sus sistemas, como el bloqueo de ciertas indicaciones que parecen generar imágenes ofensivas. Sin embargo, estas nuevas herramientas de Hugging Face muestran cuán limitadas son estas correcciones.

Un portavoz de Stability.AI nos dijo que la empresa entrena sus modelos en “conjuntos de datos específicos de diferentes países y culturas”, y agregó que esto debería “servir para mitigar los sesgos causados ​​por la sobrerrepresentación en los conjuntos de datos generales”.

Un portavoz de OpenAI no comentó específicamente sobre las herramientas, pero nos indicó una entrada en el blog explicando cómo la compañía ha agregado varias técnicas a DALL-E 2 para filtrar imágenes sesgadas y sexuales y violentas.

El sesgo se está convirtiendo en un problema más urgente a medida que estos modelos de IA se adoptan más ampliamente y producen imágenes cada vez más realistas. Ya se están implementando en una gran cantidad de productos, como almacén de fotografías

. Luccioni dice que le preocupa que los modelos corran el riesgo de reforzar sesgos dañinos a gran escala. Ella espera que las herramientas que ella y su equipo han creado aporten más transparencia a los sistemas de IA que generan imágenes y destaquen la importancia de hacerlos menos sesgados.

Parte del problema es que estos modelos se basan predominantemente en datos centrados en los EE. UU., lo que significa que en su mayoría reflejan asociaciones, prejuicios, valores y cultura estadounidenses, dice Aylin Caliskan, profesora asociada de la Universidad de Washington que estudia el sesgo en los sistemas de IA y no participó en esta investigación.

“Lo que termina sucediendo es la huella digital de esta cultura estadounidense en línea… que se perpetúa en todo el mundo”, dice Caliskan.

Caliskan dice que las herramientas de Hugging Face ayudarán a los desarrolladores de IA a comprender mejor y reducir los sesgos en sus modelos de IA. “Cuando las personas vean estos ejemplos directamente, creo que podrán comprender mejor la importancia de estos sesgos”, dice.