En 1964, el Ley de Derechos Civiles prohibió a los humanos que tomaban decisiones de contratación discriminar por motivos de sexo o raza. Ahora, el software a menudo contribuye a esas decisiones de contratación, ayudando a los gerentes a filtrar currículums o interpretar entrevistas en video.
Ese preocupaciones algunos expertos en tecnología y grupos de derechos civiles, que citan evidencia de que los algoritmos pueden replicar o magnificar los sesgos mostrados por las personas. En 2018, Reuters informó que Amazon desechó una herramienta que filtraba los currículums basados en patrones de contratación anteriores porque discriminaba a las mujeres.
La legislación propuesta en el Ayuntamiento de la ciudad de Nueva York busca actualizar las reglas de discriminación de contratación para la edad de los algoritmos. La factura Requeriría que las empresas revelen a los candidatos cuándo han sido evaluados con la ayuda de software. Las empresas que venden este tipo de herramientas tendrían que realizar auditorías anuales para comprobar que su tecnología de clasificación de personas no discrimina.
La propuesta es parte de un movimiento reciente en todos los niveles de gobierno para imponer restricciones legales a algoritmos y software que da forma a decisiones que cambian la vida, uno que puede cambiar a una nueva marcha cuando los demócratas tomen el control de la Casa Blanca y ambas cámaras del Congreso.
Más de una docena de ciudades de EE. UU. Han prohibido el uso de Reconocimiento facialy el estado de Nueva York aprobó recientemente moratoria de dos años sobre el uso de la tecnología en las escuelas. Algunos legisladores federales han propuesto una legislación para regular los algoritmos faciales y las herramientas de decisión automatizadas que utilizan las corporaciones, incluso para la contratación. En diciembre, 10 senadores preguntaron la Comisión de Igualdad de Oportunidades en el Empleo para controlar el sesgo en las herramientas de contratación de IA, diciendo que temían que la tecnología podría profundizar las disparidades raciales en el empleo y dañar la recuperación económica de COVID-19 en comunidades marginadas. También el año pasado, entró en vigencia una nueva ley en Illinois que requiere el consentimiento antes de usar el análisis de video en candidatos a puestos de trabajo; una ley similar de Maryland restringe el uso de tecnología de análisis facial en la contratación.
Los legisladores tienen más práctica en hablar sobre la regulación de nuevos algoritmos y herramientas de inteligencia artificial que en la implementación de tales reglas. Meses después de que San Francisco prohibiera el reconocimiento facial en 2019, tuvo que enmendar la ordenanza porque inadvertidamente hizo ilegales los iPhones propiedad de la ciudad
La propuesta de la ciudad de Nueva York lanzada por la miembro del consejo demócrata Laurie Cumbo requeriría que las empresas utilicen lo que se denominan herramientas automatizadas de decisión de empleo para ayudar a seleccionar candidatos o decidir términos como compensación para revelar el uso de la tecnología. A los proveedores de dicho software se les exigirá que realicen una “auditoría de sesgo” de sus productos cada año y pongan los resultados a disposición de los clientes.
Extraños compañeros de cama
La propuesta enfrenta la resistencia de algunos aliados inusuales, así como preguntas sin resolver sobre cómo funcionaría. Eric Ellman, vicepresidente senior de políticas públicas de la Consumer Data Industry Association, que representa a las empresas de verificación de antecedentes y crédito, dice que el proyecto de ley podría hacer que la contratación sea menos justa al imponer nuevas cargas a las empresas que realizan verificaciones de antecedentes en nombre de los empleadores. Sostiene que tales controles pueden ayudar a los gerentes a superar la renuencia a contratar personas de ciertos grupos demográficos.
Algunos grupos de derechos civiles y expertos en inteligencia artificial también se oponen al proyecto de ley, por diferentes razones. Albert Fox Cahn, fundador del Proyecto de Supervisión de la Tecnología de Vigilancia, organizó una carta de 12 grupos, incluidos la NAACP y el Instituto AI Now de la Universidad de Nueva York, objetando la ley propuesta. Cahn quiere regular la contratación de tecnología, pero dice que la propuesta de Nueva York podría permitir que el software que perpetúa la discriminación obtenga el sello de aprobación de una auditoría de equidad.
Cahn quiere que cualquier ley defina la tecnología cubierta de manera más amplia, no permita que los proveedores decidan cómo auditar su propia tecnología y permita a las personas demandar para hacer cumplir la ley. “No vimos ninguna forma significativa de aplicación contra la discriminación que nos preocupa”, dice.
Partidarios
Otros tienen preocupaciones pero aún apoyan la propuesta de Nueva York. “Espero que el proyecto de ley siga adelante”, dice Julia Stoyanovich, directora del Centro para la IA responsable de la Universidad de Nueva York. “También espero que se revise”.
Al igual que Cahn, a Stoyanovich le preocupa que el requisito de auditoría del proyecto de ley no esté bien definido. Ella todavía piensa que vale la pena aprobarlo, en parte porque cuando organizó reuniones públicas sobre la contratación de tecnología en la Biblioteca Pública de Queens, muchos ciudadanos se sorprendieron al saber que las herramientas automatizadas se usaban ampliamente. “La razón por la que estoy a favor es que obligará a la gente a revelar que fueron evaluados en parte por una máquina y por un humano”, dice Stoyanovich. “Eso ayudará a que el público participe en la conversación”.
Dos nuevas empresas con sede en Nueva York cuyas herramientas de contratación estarían reguladas por las nuevas reglas dicen que les dan la bienvenida. Los fundadores de HiredScore, que trata de destacar candidatos prometedores a partir de currículums y otras fuentes de datos, y Pymetrics, que ofrece evaluaciones online basadas en psicología cognitiva con la ayuda del aprendizaje automático, apoyaron el proyecto de ley durante una audiencia virtual del Comité del Ayuntamiento. sobre Tecnología en noviembre.
Frida Polli, directora ejecutiva y cofundadora de Pymetrics, comercializa la tecnología de la compañía como una señal más justa sobre los candidatos que las medidas tradicionales como los currículums, que, según ella, pueden poner en desventaja a las personas de entornos menos privilegiados. La empresa recientemente tuvo su tecnología auditado por equidad por investigadores de la Northeastern University. Ella reconoce que el requisito de auditoría del proyecto de ley podría ser más estricto, pero dice que no está claro cómo hacerlo de una manera práctica, y sería mejor tener algo en los libros. “El proyecto de ley es moderado, pero de una manera poderosa”, dice.
“Como el salvaje oeste”
Robert Holden, presidente del Comité de Tecnología del Ayuntamiento, tiene sus propias preocupaciones sobre la capacidad del gobierno de la ciudad con problemas de liquidez para definir cómo analizar la contratación de software. También ha estado escuchando a los enviados de empresas cuyo software estaría sujeto a las reglas propuestas, lo que ha provocado un mayor compromiso de la industria de lo habitual para los negocios del Ayuntamiento. Algunos le han asegurado que se puede confiar en que la industria se autorregulará. Holden dice que lo que ha aprendido hasta ahora deja en claro que se necesita más transparencia. “Es casi como el Salvaje Oeste ahora”, dice Holden. “Realmente tenemos que brindar algo de transparencia”.
Holden dice que es probable que el proyecto de ley enfrente algunas negociaciones y se reescriba, así como una posible oposición de la oficina del alcalde, antes de que el consejo pueda programar una votación final. Si se aprueba, entrará en vigor en enero de 2022.
Esta historia apareció originalmente en wired.com.