Por John P. Mello Jr.
24 de septiembre de 2019 3:02 AM PT
Un sitio web creado para reunir caras para un proyecto de arte ha creado una controversia sobre el uso de la inteligencia artificial para clasificar a los seres humanos.
Las caras reunidas en el sitio de ImageNet Roulette se están incorporando a una obra de arte en la Fondazione Prada Osservertario en Milán, pero esa es solo una de las razones por las que el artista estadounidense Trevor Paglen y la investigadora de Microsoft Kate Crawford crearon el sitio.
"ImageNet Roulette se lanzó a principios de este año como parte de un proyecto más amplio para llamar la atención sobre las cosas que pueden, y hacen regularmente, ir mal cuando los modelos de inteligencia artificial se entrenan en datos de entrenamiento problemáticos", escribieron los creadores.
"ImageNet Roulette está capacitada en las categorías de 'persona' de un conjunto de datos llamado ImageNet (desarrollado en las universidades de Princeton y Stanford en 2009), uno de los conjuntos de capacitación más utilizados en investigación y desarrollo de aprendizaje automático", explicaron.
"Creamos la Ruleta ImageNet como una provocación: actúa como una ventana a algunas de las categorizaciones racistas, misóginas, crueles y simplemente absurdas integradas en ImageNet", continuaron. "Permite que el conjunto de entrenamiento 'hable por sí mismo', y al hacerlo, destaca por qué clasificar a las personas de esta manera es poco científico en el mejor de los casos y profundamente perjudicial en el peor".
Ruleta racista
ImageNet Roulette le permite cargar una foto de una cara, y le devolverá una clasificación. Cargué mi disparo en la cabeza portugués-estadounidense y recibí la clasificación "psicolingüista". El sitio no fue tan benigno para otras personas que lo usaron.
Tabong Kima, de 24 años, un afroamericano mencionado en un New York Times El artículo sobre el sitio fue etiquetado como "malhechor" y "delincuente".
Julie Carrie Wong, reportera de El guardián y asiático americano, recibió la clasificación "gook, slant-eye".
"La Ruleta ImageNet ha sido increíblemente poderosa al mostrar que la inteligencia artificial que incorporamos en nuestra vida cotidiana es fundamentalmente defectuosa y limitada por las decisiones humanas que conlleva", dijo Albert Fox Cahn, director ejecutivo del Proyecto de Supervisión de Tecnología de Vigilancia (STOP) en Nueva York, un grupo de defensa que busca el fin de la vigilancia discriminatoria.
"Es por eso que encontramos que cada programa de reconocimiento visual en el mercado tiene prejuicios en función de las tasas de raza y error que son diferentes para hombres y mujeres", dijo a TechNewsWorld.
"Ningún sistema es completamente objetivo", agregó Cahn. "Sin embargo, si configuramos estas herramientas, los prejuicios y suposiciones que los seres humanos aportan a estas herramientas darán forma a los resultados que obtenemos".
Razonamiento de coches de garaje
ImageNet Roulette ha expresado su punto de vista sobre la IA, observó Joshua New, analista senior de políticas del Centro para la Innovación de Datos, parte de Fundación de Tecnología de la Información e Innovación, una organización de investigación y políticas públicas en Washington, D.C.
"Es útil porque muestra que la IA no es esta salsa secreta mágica e infalible que muchas compañías son culpables de comercializar", dijo a TechNewsWorld.
"Al mismo tiempo, plantea el importante problema de que si tienes datos incorrectos que estás usando de manera irresponsable, obtendrás malos resultados", dijo New.
"Usó un conjunto de datos de entrenamiento que está notoriamente lleno de etiquetas extrañas, algunas de ellas extremas, ofensivas y que contienen prejuicios de raza y género, lo cual es preocupante. Pero solo porque eso exista en el mundo no significa que todos los sistemas de IA vayan a exhibir esos problemas ", señaló.
"Si una empresa se preocupa por luchar contra el sesgo y actuar de manera responsable, van a tomar medidas para hacerlo. Un mal actor que no se preocupa por luchar contra el sesgo exhibirá un sesgo, ya sea que estén usando IA o no", comentó New.
"La inteligencia artificial se puede hacer de manera irresponsable. Sucede, y esta herramienta hace un buen trabajo al resaltar eso, pero señalar esto como un ejemplo de por qué no deberíamos utilizar la inteligencia artificial es similar a señalar el automóvil que alguien hizo en su garaje". sin cinturones de seguridad, frenos y bolsas de aire y diciendo: "Esto no es seguro, por lo tanto, no todos deberían conducir".
Mejores datos, mejor inteligencia artificial
Un remedio que a menudo se ofrece para contrarrestar el sesgo en los conjuntos de datos es aumentar su tamaño. La idea es que cuantos más datos haya en el conjunto, menor será la probabilidad de que algo se omita. Sin embargo, la solución es más compleja que eso, especialmente cuando se trata de reconocimiento facial, señaló George Brostoff, CEO de
Visión sensible, una empresa de autenticación facial en Cape Coral, Florida.
"Cuando el reconocimiento facial mira una fotografía, debe tener en cuenta la calidad de esa fotografía. ¿Tiene suficiente resolución? ¿Hay suficientes detalles? ¿Hay ruido en ella? Todos esos factores son tan importantes como tener muchas imágenes ", le dijo a TechNewsWorld.
"La IA mejorará con mejores datos", agregó Brostoff. "¿Siempre será capaz de tomar la decisión correcta? No, porque los datos no siempre serán perfectos".
Los conjuntos de datos mejorados pueden ayudar a reducir el sesgo, pero también lo hará una mayor transparencia, dijo Jake Laperruque, asesor principal del Proyecto sobre Supervisión del Gobierno, parte de
El proyecto de constitución, un grupo de vigilancia del gobierno en Washington, D.C.
"No se puede abrir el algoritmo de código fuente de Google, pero por otro lado, es importante encontrar algunos medios de transparencia independiente", dijo a TechNewsWorld. "Eso es más fácil para el reconocimiento facial que para algo como un algoritmo".
Hay esfuerzos en el Congreso para aumentar la transparencia de la IA, señaló Cahn de STOP. Hay un proyecto de ley en la Cámara para eliminar las protecciones de secretos comerciales cuando se utilizan sistemas de inteligencia artificial en el sistema de justicia penal, por ejemplo.
"Si se va a quitar la vida o la libertad de alguien debido a una de estas herramientas de inteligencia artificial, entonces su abogado defensor debe saber exactamente cómo funciona", dijo. "Eso debería superar cualquier preocupación por los secretos comerciales".
Modelos de aplicación de la ley
Eliminar el sesgo de los modelos de aplicación de la ley puede ser un problema particularmente espinoso.
Para eliminar todo sesgo de un modelo de IA de aplicación de la ley, necesita un conjunto de datos históricos sin sesgos, y todos los modelos deben usar los mismos datos. Ambas condiciones son difíciles de cumplir, dijo Lian Jye Su, analista principal de IA en
ABI Research, una compañía de asesoría tecnológica con sede en Oyster Bay, Nueva York.
Para obtener un conjunto de datos sin prejuicios, debe estar 100% seguro de que todos los registros policiales anteriores están libres de discriminación y prejuicios, lo que es imposible, dijo a TechNewsWorld.
"Incluso si tratamos de eliminar todos los sesgos al no incluir tanto los casos conocidos como los supuestos, los factores socioeconómicos inherentes que causan tal sentimiento son incomprensibles para la IA en este momento", dijo Su a TechNewsWorld.
Considere, por ejemplo, un banco que había estado usando IA para préstamos basados en los antecedentes de un solicitante, dijo. Se eliminó la información racial del conjunto de datos para evitar la discriminación; sin embargo, se encontró que el modelo era parcial contra los solicitantes afroamericanos.
Lo que descubrieron los científicos de datos fue que la IA usó direcciones como un factor determinante para los préstamos, dijo Su. Eso creó un claro prejuicio contra los solicitantes que provenían de barrios pobres pero que no eran necesariamente pobres.
"Como humanos, lo habríamos discernido muy rápido, pero la IA no sería capaz de entender eso", señaló.
La capacitación de un modelo de aplicación de la ley con los mismos datos también puede ser un desafío.
"Es casi imposible desde el punto de vista logístico. Incluso si las agencias de aplicación de la ley encuentran una manera de compartir datos de capacitación agregados, existen muchas regulaciones específicas de cada país y contextos socioeconómicos", señaló Su.
"Si bien como humanos todos compartimos la comprensión de los valores universales y los códigos de ética, la IA no tiene la misma comprensión. Una ligera diferencia en los datos de entrenamiento dará como resultado procesos de toma de decisiones muy diferentes, lo que significa que terminaremos con acciones inexplicables, " ella añadió.
"Una forma de resolver esto es tener una IA completamente transparente y explicable", sugirió Su. "Muchas nuevas empresas de IA están trabajando para lograr esa visión, pero personalmente creo que todavía estamos muy lejos de eso".
El alboroto causado por ImageNet Roulette parece haber tenido un impacto en los investigadores detrás de ImageNet. Hace unos días decidieron purgar el conjunto de datos de 1,5 millones de imágenes en su categoría de persona.
Mientras tanto, los creadores de ImageNet Roulette dijeron que han demostrado su punto y que cerrarán el sitio el viernes. Sin embargo, la exhibición de arte permanecerá en exhibición en Milán hasta febrero de 2020.
John P. Mello Jr. ha sido reportero de ECT News Network
desde 2003. Sus áreas de enfoque incluyen seguridad cibernética, problemas de TI, privacidad, comercio electrónico, redes sociales, inteligencia artificial, big data y electrónica de consumo. Ha escrito y editado para numerosas publicaciones, incluida la Boston Business Journal, el
Boston Phoenix, Megapixel.Net y Gobierno
Noticias de seguridad. Email John.