Un sistema de calificación de riesgo algorítmico implementado por el estado holandés para tratar de predecir la probabilidad de que los reclamantes de la seguridad social cometan beneficios o fraudes fiscales viola las leyes de derechos humanos, dictaminó un tribunal en los Países Bajos.
La legislación del Sistema Holandés de Indicación de Riesgo (SyRI) utiliza un modelo de riesgo algorítmico no revelado para perfilar a los ciudadanos y se ha dirigido exclusivamente a vecindarios con residentes en su mayoría de bajos ingresos y minoritarios. Los defensores de los derechos humanos lo han denominado un "estado de vigilancia del bienestar".
Varias organizaciones de la sociedad civil en los Países Bajos y dos ciudadanos instigaron la acción legal contra SyRI, buscando bloquear su uso. El tribunal ha ordenado hoy un alto inmediato al uso del sistema.
los decisión los defensores de los derechos humanos lo elogian como un juicio histórico, y el tribunal basa su razonamiento en el derecho europeo de derechos humanos, específicamente el derecho a la vida privada establecido por el artículo 8 del Convenio Europeo de Derechos Humanos (CEDH), en lugar de una disposición específica en el marco de protección de datos de la UE (GDPR) que se relaciona con el procesamiento automatizado.
El Artículo 22 de GDPR incluye el derecho de las personas a no estar sujetas a la toma de decisiones individual automatizada únicamente donde puedan producir efectos legales significativos. Pero puede haber cierta incertidumbre acerca de si esto se aplica si hay un humano en algún lugar del círculo, como revisar una decisión sobre objeción.
En este caso, el tribunal ha eludido tales preguntas al encontrar que SyRI interfiere directamente con los derechos establecidos en el CEDH.
Específicamente, el tribunal determinó que la legislación SyRI no pasa una prueba de equilibrio en el Artículo 8 de la CEDH que requiere que cualquier interés social se considere contra la violación de la vida privada de las personas, y se requiere un equilibrio justo y razonable.
En su forma actual, el sistema automatizado de evaluación de riesgos no pasó esta prueba, en opinión del tribunal.
Los expertos legales sugieren que la decisión establece algunos límites claros sobre cómo el sector público en el Reino Unido puede hacer uso de las herramientas de IA, y el tribunal se opone en particular a la falta de transparencia sobre cómo funcionaba el sistema algorítmico de calificación de riesgo.
en un presione soltar sobre el fallo (traducido al inglés usando Google Translate), el tribunal escribe que el uso de SyRI es "insuficientemente claro y controlable". Mientras, por Observador de derechos humanos, el gobierno holandés se negó durante la audiencia a revelar "información significativa" sobre cómo SyRI utiliza datos personales para sacar conclusiones sobre posibles frau des.
El tribunal claramente tuvo una visión tenue del estado tratando de eludir el escrutinio del riesgo de los derechos humanos señalando una "caja negra" algorítmica y encogiéndose de hombros.
El relator especial de la ONU sobre pobreza extrema y derechos humanos, Philip Alston, quien intervino en el caso al proporcionar al tribunal un análisis de derechos humanos – Acoge con satisfacción la sentencia, describiéndola como "una victoria clara para todos aquellos que están justificadamente preocupados por las graves amenazas que los sistemas de bienestar digital representan para los derechos humanos".
“Esta decisión establece un precedente legal sólido para que otros tribunales la sigan. Esta es una de las primeras veces que un tribunal en algún lugar ha detenido el uso de tecnologías digitales y abundante información digital por parte de las autoridades de bienestar por razones de derechos humanos ", agregó en una prensa. declaración.
De nuevo en 2018 Alston advirtió que el apuro del gobierno del Reino Unido por aplicar tecnologías digitales y herramientas de datos para rediseñar socialmente la prestación de servicios públicos a gran escala corría el riesgo de tener un inmenso impacto en los derechos humanos de los más vulnerables.
Por lo tanto, la decisión del tribunal holandés podría tener algunas implicaciones a corto plazo para la política del Reino Unido en esta área.
La sentencia no cierra la puerta al uso por parte de los estados de sistemas automatizados de creación de perfiles, pero sí deja claro que en Europa las leyes de derechos humanos deben ser fundamentales para el diseño e implementación de herramientas de riesgo.
También llega en un momento clave cuando los responsables políticos de la UE están trabajando en un marco para regular la inteligencia artificial – con la Comisión comprometiéndose a diseñar reglas que garanticen que las tecnologías de IA se apliquen de manera ética y centrada en el ser humano.
Queda por ver si la Comisión impulsará los límites paneuropeos a los usos específicos de IA en el sector público, como por ejemplo para las evaluaciones de seguridad social. UN borrador filtrado recientemente de un libro blanco sobre regulación de IA sugiere que se inclina hacia evaluaciones de riesgos y un mosaico de reglas basadas en riesgos.