Esta historia apareció originalmente en The Algorithm, nuestro boletín semanal sobre IA. Para recibir historias como esta en su bandeja de entrada primero, Registrate aquí.
Mis feeds de redes sociales esta semana han estado dominados por dos temas candentes: el último chatbot de OpenAI, ChatGPT, y la aplicación viral de avatar de IA Lensa. Me encanta jugar con la nueva tecnología, así que le di una oportunidad a Lensa.
Esperaba obtener resultados similares a los de mis colegas de .. La aplicación generó avatares realistas y halagadores para ellos: piense en astronautas, guerreros y portadas de álbumes de música electrónica.
En cambio, obtuve toneladas de desnudos. De los 100 avatares que generé, 16 estaban en topless y otros 14 me mostraban con ropa extremadamente diminuta y poses abiertamente sexualizadas. Puedes lee mi historia aquí.
Lensa crea sus avatares utilizando Stable Diffusion, un modelo de IA de código abierto que genera imágenes basadas en indicaciones de texto. Stable Diffusion está entrenado en LAION-5B, un conjunto masivo de datos de código abierto que se ha compilado extrayendo imágenes de Internet.
Y debido a que Internet está repleto de imágenes de mujeres desnudas o apenas vestidas, e imágenes que reflejan estereotipos sexistas y racistas, el conjunto de datos también está sesgado hacia este tipo de imágenes.
Como mujer asiática, pensé que lo había visto todo.
Ser sexualizado por una IA no era algo que esperaba, aunque no es de extrañar. Francamente, fue aplastantemente decepcionante. Mis colegas y amigos tuvieron el privilegio de ser estilizados en ingeniosas representaciones de sí mismos. ¡Eran reconocibles en sus avatares! Yo no estaba. Obtuve imágenes de mujeres asiáticas genéricas claramente modeladas en personajes de anime o videojuegos.
Curiosamente, encontré representaciones más realistas de mí mismo cuando le dije a la aplicación que era hombre. Esto probablemente aplicó un conjunto diferente de indicaciones a las imágenes. Las diferencias son marcadas. En las imágenes generadas con filtros masculinos, estoy vestida, luzco asertiva y, lo más importante, puedo reconocerme en las imágenes.
“Las mujeres están asociadas con contenido sexual,mientras que los hombres están asociados con contenido profesional relacionado con la carrera en cualquier dominio importante como la medicina, la ciencia, los negocios, etc. ”, dice Aylin Caliskan, profesora asistente en la Universidad de Washington que estudia los sesgos y la representación en los sistemas de IA.
Este tipo de estereotipos se puede detectar fácilmente con una nueva herramienta creada por la investigadora Sasha Luccioni, que trabaja en la empresa de inteligencia artificial Hugging Face, que permite a cualquier personaexplorar los diferentes sesgosen difusión estable.
La herramienta muestra cómo el modelo de IA ofrece imágenes de hombres blancos como médicos, arquitectos y diseñadores, mientras que las mujeres se representan como peluqueras y empleadas domésticas.
Pero no son solo los datos de entrenamiento los que tienen la culpa.Las empresas que desarrollan estos modelos y aplicaciones toman decisiones activas sobre cómo usan los datos, dice Ryan Steed, estudiante de doctorado en la Universidad Carnegie Mellon, que ha estudiado los sesgos en los algoritmos de generación de imágenes.
“Alguien tiene que elegir los datos de entrenamiento, decidir construir el modelo, decidir tomar ciertos pasos para mitigar esos sesgos o no”, dice.
Prisma Labs, la compañía detrás de Lensa, dice que todos los géneros enfrentan una “sexualización esporádica”. Pero para mí, eso no es lo suficientemente bueno. Alguien tomó la decisión consciente de aplicar ciertos esquemas de color y escenarios y resaltar ciertas partes del cuerpo.
A corto plazo, estas decisiones podrían causar algunos daños evidentes, como el fácil acceso a generadores de deepfakes que crean imágenes de desnudos de mujeres o niños sin consentimiento.
Pero Aylin Caliskan ve problemas aún mayores a largo plazo en el futuro. A medida que las imágenes generadas por IA con sus sesgos incrustados inunden Internet, eventualmente se convertirán en datos de entrenamiento para futuros modelos de IA. “¿Vamos a crear un futuro en el que sigamos amplificando estos sesgos y marginando a las poblaciones?” ella dice.
Ese es un pensamiento realmente aterrador, y espero que le demos a estos temas el debido tiempo y consideración antes de que el problema se vuelva aún más grande y más arraigado.
Aprendizaje más profundo
El dinero de las subvenciones destinado a ayudar a las ciudades a prepararse para los ataques terroristas se está gastando en “compras masivas de tecnología de vigilancia” para los departamentos de policía de EE. UU., según un nuevo informe de las organizaciones de defensa Action Center on Race and Economy (ACRE), LittleSis, MediaJustice y Immigrant. Espectáculos del Proyecto de Defensa.
Compra de spytech impulsado por IA:Por ejemplo, el Departamento de Policía de Los Ángeles utilizó fondos destinados a la lucha contra el terrorismo para comprar lectores automáticos de matrículas con un valor de al menos $ 1,27 millones, equipos de radio con un valor de más de $ 24 millones, plataformas de fusión de datos Palantir (a menudo utilizadas para vigilancia policial predictiva impulsada por IA) y redes sociales. software de vigilancia de medios.
Por qué esto importa: Por varias razones, una gran cantidad de tecnología problemática termina en sectores de alto riesgo, como la policía, con poca o ninguna supervisión. Por ejemplo, la empresa de reconocimiento facial Clearview AI ofrece “pruebas gratuitas” de su tecnología a los departamentos de policía, lo que les permite usarla sin un acuerdo de compra o aprobación de presupuesto. Las subvenciones federales para la lucha contra el terrorismo no requieren tanta transparencia y supervisión públicas. Los hallazgos del informe son otro ejemplo de un patrón creciente en el que los ciudadanos se mantienen cada vez más a oscuras sobre la adquisición de tecnología policial. Lea más de Tate Ryan-Mosley aquí.
Bits y bytes
hatGPT, Galactica y la trampa del progreso
Los investigadores de IA Abeba Birhane y Deborah Raji escriben que los “enfoques indiferentes al lanzamiento de modelos” (como se ve con Galactica de Meta) y la respuesta extremadamente defensiva a los comentarios críticos constituyen una tendencia “profundamente preocupante” en la IA en este momento. Argumentan que cuando los modelos no “cumplen con las expectativas de aquellos que tienen más probabilidades de ser dañados por ellos”, entonces “sus productos no están listos para servir a estas comunidades y no merecen un lanzamiento generalizado”. (cableado)
Los nuevos chatbots podrían cambiar el mundo. ¿Puedes confiar en ellos?
La gente se ha quedado boquiabierta por lo coherente que es ChatGPT. El problema es que una cantidad significativa de lo que arroja son tonterías. Los modelos de lenguaje extenso no son más que tontos confiados, y sería prudente acercarnos a ellos con eso en mente.
(Los New York Times)
Tropezando con sus palabras, algunas personas dejan que la IA hable
A pesar de las fallas de la tecnología, algunas personas, como aquellas con dificultades de aprendizaje, todavía encuentran útiles los modelos de lenguaje grandes como una forma de ayudar a expresarse.
(el poste de washington)
La postura de los países de la UE sobre las reglas de IA genera críticas de legisladores y activistas
La ley de IA de la UE, la Ley de IA, está cada vez más cerca de ser finalizada. Los países de la UE han aprobado su posición sobre cómo debería ser la regulación, pero los críticos dicen que no se abordaron muchos temas importantes, como el uso del reconocimiento facial por parte de las empresas en lugares públicos, y se diluyeron muchas salvaguardas. (Reuters)
Los inversores buscan beneficiarse de las nuevas empresas de IA generativa
No eres solo tú. Los capitalistas de riesgo también piensan que las nuevas empresas de IA generativa como Stability.AI, que creó el popular modelo de texto a imagen Stable Diffusion, son las cosas más populares en tecnología en este momento. Y les están tirando montones de dinero. (el tiempo financiero)