Del mismo modo, la ciudad de Nueva York está considerando Int 1894, una ley que introduciría auditorías obligatorias de “herramientas automatizadas de decisión de empleo”, definidas como “cualquier sistema cuya función se rija por la teoría estadística, o sistemas cuyos parámetros estén definidos por dichos sistemas”. En particular, ambos proyectos de ley exigen auditorías, pero proporcionan solo pautas de alto nivel sobre lo que es una auditoría.
A medida que los tomadores de decisiones tanto en el gobierno como en la industria crean estándares para auditorías algorítmicas, es probable que haya desacuerdos sobre lo que cuenta como algoritmo. En lugar de intentar llegar a un acuerdo sobre una definición común de “algoritmo” o una técnica de auditoría universal particular, sugerimos evaluar los sistemas automatizados principalmente en función de su impacto. Al centrarnos en los resultados en lugar de los aportes, evitamos debates innecesarios sobre la complejidad técnica. Lo que importa es el potencial de daño, independientemente de si estamos discutiendo una fórmula algebraica o una red neuronal profunda.
El impacto es un factor crítico de evaluación en otros campos. Está integrado en el clásico MIEDO marco en ciberseguridad, que fue popularizado por primera vez por Microsoft a principios de la década de 2000 y todavía se utiliza en algunas corporaciones. La “A” en DREAD pide a los evaluadores de amenazas que cuantifiquen los “usuarios afectados” preguntando cuántas personas sufrirían el impacto de una vulnerabilidad identificada. Las evaluaciones de impacto también son comunes en los análisis de derechos humanos y sostenibilidad, y hemos visto a algunos de los primeros desarrolladores de evaluaciones de impacto de IA crear rúbricas similares. Por ejemplo, Canadá Evaluación de impacto algorítmico proporciona una puntuación basada en preguntas cualitativas como “¿Son los clientes de esta línea de negocio particularmente vulnerables? (sí o no).”
Lo que importa es el potencial de daño, independientemente de si estamos discutiendo una fórmula algebraica o una red neuronal profunda.
Ciertamente existen dificultades para introducir un término vagamente definido como “impacto” en cualquier evaluación. El marco DREAD fue posteriormente complementado o reemplazado por STRIDE, en parte debido a retos con reconciliar diferentes creencias sobre lo que implica el modelado de amenazas. Microsoft dejó de usar DREAD en 2008.
En el campo de la IA, las conferencias y revistas ya han presentado declaraciones de impacto con diversos grados de éxito y controversia. Está lejos de ser infalible: las evaluaciones de impacto que son puramente formuladas se pueden jugar fácilmente, mientras que una definición demasiado vaga puede llevar a evaluaciones arbitrarias o imposiblemente largas.
Aún así, es un importante paso adelante. El término “algoritmo”, como sea que se defina, no debería ser un escudo para absolver a los humanos que diseñaron y desplegaron cualquier sistema de responsabilidad por las consecuencias de su uso. Es por eso que el público exige cada vez más la responsabilidad algorítmica, y el concepto de impacto ofrece un terreno común útil para los diferentes grupos que trabajan para satisfacer esa demanda.
Kristian Lum es profesor asistente de investigación en el Departamento de Ciencias de la Información y la Computación de la Universidad de Pennsylvania.
Rumman Chowdhury es el director del equipo de ética, transparencia y responsabilidad de las máquinas (META) en Twitter. Anteriormente, fue directora ejecutiva y fundadora de Parity, una plataforma de auditoría algorítmica y líder global de IA responsable en Accenture.
.