El uso de IA en la contratación ha sido criticado por la forma en que automatiza y afianza los prejuicios raciales y de género existentes. Se ha demostrado que los sistemas de IA que evalúan las expresiones faciales y el lenguaje de los candidatos dan prioridad a los candidatos blancos, masculinos y sin discapacidad. El problema es enorme y muchas empresas usan IA al menos una vez durante el proceso de contratación. La presidenta de la Comisión de Igualdad de Oportunidades en el Empleo de EE. UU., Charlotte Burrows, dijo en una reunión en enero
La ley de la Herramienta de Decisión de Empleo Automatizada de la Ciudad de Nueva York, que entró en vigor el miércoles, dice que los empleadores que usan IA en la contratación tienen que decirles a los candidatos que lo están haciendo. También tendrán que someterse a auditorías independientes anuales para demostrar que sus sistemas no son racistas ni sexistas. Los candidatos podrán solicitar información de posibles empleadores sobre qué datos recopila y analiza la tecnología. Las violaciones resultarán en multas de hasta $1,500.
Los defensores de la ley dicen que es un buen comienzo para regular la IA y mitigar algunos de los daños y riesgos relacionados con su uso, incluso si no es perfecto. Requiere que las empresas comprendan mejor los algoritmos que utilizan y si la tecnología discrimina injustamente a las mujeres o personas de color. También es un éxito regulatorio bastante raro en lo que respecta a la política de IA en los EE. UU., y es probable que veamos más de estas regulaciones locales específicas. Suena algo prometedor, ¿verdad?
Pero la ley ha sido se encontró con una controversia significativa
Grupos como el Centro para la Democracia y la Tecnología, el Proyecto de Supervisión de Tecnología de Vigilancia (STOP), el Fondo Educativo y de Defensa Legal de la NAACP y la Unión de Libertades Civiles de Nueva York argumentan que la ley es “poco inclusivo” y corre el riesgo de dejar de lado muchos usos de los sistemas automatizados en la contratación, incluidos los sistemas en los que La IA se utiliza para evaluar a miles de candidatos.
Es más, no está claro exactamente qué logrará la auditoría independiente, ya que la industria de la auditoría es actualmente muy inmadura. BSA, un influyente grupo comercial de tecnología cuyos miembros incluyen a Adobe, Microsoft e IBM, comentarios archivados a la ciudad en enero criticando la ley, argumentando que las auditorías de terceros “no son factibles”.
“Hay muchas preguntas sobre qué tipo de acceso tendría un auditor a la información de una empresa, y cuánto podrían cuestionar realmente sobre la forma en que opera”, dice Albert Fox Cahn, director ejecutivo de STOP. “Sería como si tuviéramos auditores financieros, pero no teníamos principios de contabilidad generalmente aceptados, y mucho menos un código fiscal y reglas de auditoría”.
Cahn argumenta que la ley podría producir una falsa sensación de seguridad sobre la IA y la contratación. “Esta es una hoja de parra presentada como prueba de protección de estos sistemas cuando, en la práctica, no creo que una sola empresa rinda cuentas porque esto se convirtió en ley”, dice.