Human Rights Watch identificó varios problemas fundamentales con el sistema algorítmico que dieron lugar a sesgos e inexactitudes. Se pregunta a los solicitantes cuánta agua y electricidad consumen, por ejemplo, como dos de los indicadores que alimentan el sistema de clasificación. Los autores del informe concluyen que estos no son necesariamente indicadores confiables de pobreza. Algunas familias entrevistadas creían que el hecho de poseer un automóvil afectaba su clasificación, incluso si el automóvil era viejo y necesario para el transporte al trabajo.
El informe dice: “Esta apariencia de objetividad estadística enmascara una realidad más complicada: las presiones económicas que soportan las personas y las formas en que luchan por salir adelante son frecuentemente invisibles para el algoritmo”.
“Las preguntas que se hacen no reflejan la realidad en la que existimos”, dice Abdelhamad, padre de dos hijos que gana 250 dinares ($353) al mes y lucha para llegar a fin de mes, como se cita en el informe.
Takaful también refuerza la discriminación de género existente al basarse en códigos legales sexistas. La asistencia en efectivo se brinda solo a ciudadanos jordanos, y un indicador que el algoritmo tiene en cuenta es el tamaño de la familia. Aunque los hombres jordanos que se casan con una persona que no es ciudadana pueden transmitir la ciudadanía a su cónyuge, las mujeres jordanas que lo hacen no pueden hacerlo. Para estas mujeres, esto se traduce en un menor tamaño del hogar declarable, lo que las hace menos propensas a recibir asistencia.
El informe se basa en 70 entrevistas realizadas por Human Rights Watch en los últimos dos años, no en una evaluación cuantitativa, porque el Banco Mundial y el gobierno de Jordania no han hecho pública la lista de 57 indicadores, un desglose de cómo se ponderan los indicadores. , o datos completos sobre las decisiones del algoritmo. El Banco Mundial aún no ha respondido a nuestra solicitud de comentarios.
Amos Toh, investigador de IA y derechos humanos de Human Rights Watch y autor del informe, dice que los hallazgos apuntan a la necesidad de una mayor transparencia en los programas gubernamentales que utilizan la toma de decisiones algorítmica. Muchas de las familias entrevistadas expresaron desconfianza y confusión acerca de la metodología de clasificación. “La responsabilidad de brindar esa transparencia recae en el gobierno de Jordania”, dice Toh.
Los investigadores sobre la ética y la equidad de la IA piden un mayor escrutinio en torno al uso cada vez mayor de algoritmos en los sistemas de bienestar. “Cuando comienzas a construir algoritmos para este propósito en particular, para supervisar el acceso, lo que siempre sucede es que las personas que necesitan ayuda quedan excluidas”, dice Meredith Broussard, profesora de la Universidad de Nueva York y autora de Más que un problema técnico: confrontar el sesgo de raza, género y capacidad en la tecnología.
“Parece que este es otro ejemplo más de un mal diseño que en realidad termina restringiendo el acceso a los fondos para las personas que más los necesitan”, dice.
El Banco Mundial financió el programa, que es administrado por el Fondo Nacional de Ayuda de Jordania, una agencia de protección social del gobierno. En respuesta al informe, el Banco Mundial dijo que planea publicar información adicional sobre el programa Takaful en julio de 2023 y reiteró su “compromiso de avanzar en la implementación de la protección social universal”. [and] garantizar el acceso a la protección social para todas las personas”.
la organizacion tiene Fomentó el uso de la tecnología de datos. en programas de transferencia de efectivo como Takaful, diciendo que promueve la rentabilidad y una mayor equidad en la distribución. Los gobiernos también han utilizado sistemas habilitados para IA para protegerse contra el fraude de asistencia social. Un investigación el mes pasado sobre un algoritmo que utiliza el gobierno holandés para señalar las solicitudes de prestaciones con mayor probabilidad de ser fraudulentas reveló una discriminación sistemática por motivos de raza y género.