Teniendo en cuenta lo poderosos que son los sistemas de IA y los roles que desempeñan cada vez más para ayudar a tomar decisiones de alto riesgo sobre nuestras vidas, hogares y sociedades, reciben un escrutinio formal sorprendentemente pequeño.
Eso está empezando a cambiar, gracias al floreciente campo de las auditorías de IA. Cuando funcionan bien, estas auditorías nos permiten verificar de manera confiable qué tan bien funciona un sistema y descubrir cómo mitigar cualquier posible sesgo o daño.
Famoso, un 2018 auditoría
Los reguladores se están poniendo al día, y eso está impulsando en parte la demanda de auditorías. A nueva ley en la ciudad de Nueva York comenzará a exigir que todas las herramientas de contratación impulsadas por IA sean auditadas para detectar sesgos a partir de enero de 2024. En la Unión Europea, las grandes empresas tecnológicas tendrán que realizar auditorías anuales de sus sistemas de IA a partir de 2024, y la próxima Ley de IA requerirá auditorías de sistemas de IA de “alto riesgo”.
Es una gran ambición, pero hay algunos obstáculos enormes. No existe un entendimiento común sobre cómo debería ser una auditoría de IA, y no hay suficientes personas con las habilidades adecuadas para realizarlas. Las pocas auditorías que se realizan en la actualidad son en su mayoría ad hoc y varían mucho en calidad, me dijo Alex Engler, que estudia la gobernanza de la IA en la Institución Brookings. Un ejemplo que dio es de la empresa de contratación de inteligencia artificial HireVue, que implicaba en un presione soltar que una auditoría externa encontró que sus algoritmos no tienen sesgos. Resultó que no tenía sentido: la auditoría en realidad no había examinado los modelos de la empresa y estaba sujeta a un acuerdo de confidencialidad, lo que significaba que no había forma de verificar lo que encontró. Esencialmente no fue más que un truco de relaciones públicas.
Una forma en que la comunidad de IA está tratando de abordar la falta de auditores es a través de competencias de recompensas por sesgos, que funcionan de manera similar a las recompensas por errores de ciberseguridad, es decir, llaman a las personas a crear herramientas para identificar y mitigar los sesgos algorítmicos en los modelos de IA. Una de esas competencias se lanzó la semana pasada, organizada por un grupo de voluntarios, incluido el líder ético de inteligencia artificial de Twitter, Rumman Chowdhury. El equipo detrás de esto espera que sea el primero de muchos.
Es una buena idea crear incentivos para que las personas aprendan las habilidades necesarias para realizar auditorías, y también para comenzar a crear estándares sobre cómo deberían ser las auditorías al mostrar qué métodos funcionan mejor. Puedes leer más sobre esto aquí.
El crecimiento de estas auditorías sugiere que algún día podríamos ver advertencias al estilo de las cajetillas de cigarrillos. que los sistemas de IA podrían dañar su salud y seguridad. Otros sectores, como productos quimicos y alimentos, realice auditorías periódicas para garantizar que los productos sean seguros de usar. ¿Podría algo como esto convertirse en la norma en la IA?