La Ley de IA, que los eurodiputados finalmente adoptarán en abril, proporciona algunas reglas específicas para el uso de sistemas de reconocimiento de emociones (ERS) para las fuerzas del orden. Por ejemplo, las autoridades policiales que despliegan ERS no están obligadas a informar a las personas cuando están expuestas a estos sistemas.
El uso de sistemas de inteligencia artificial que afirman inferir emociones a partir de datos biométricos (como el rostro y la voz) solo está prohibido “en las áreas del lugar de trabajo y de las instituciones educativas” (sujeto a una excepción de “seguridad” poco clara), no en contextos como la ley. aplicación de la ley y migración.
La validez científica de ERS plantea serias preocupaciones, en particular porque la expresión de las emociones varía considerablemente entre culturas y situaciones, e incluso dentro de una sola persona, por lo que no sólo es inexacta sino también inherentemente discriminatoria.
La base científica de los sistemas de reconocimiento de emociones faciales ha sido cuestionada, equiparando sus supuestos con teorías pseudocientíficas, como la frenología o la fisonomía.
Se trata de sistemas como IBorderCtrl
Además del problema de la ‘IA de aceite de serpiente’, hay más:
En primer lugar, el carácter intrusivo de estos sistemas aumentará sin duda el desequilibrio de poder entre la persona interesada y la autoridad pública.
En segundo lugar, la posible naturaleza de “caja negra” del sistema de IA: una vez sujeto al ERS, también “sólo” para ayudar en la toma de decisiones, la acción de las autoridades encargadas de hacer cumplir la ley o de migración se vuelve “impredecible”: ¿cuál será el impacto? ¿En mi puntuación de confiabilidad de cualquiera de mis microexpresiones voluntarias o involuntarias?
El Tribunal de Justicia de la UE argumentó anteriormente que la IA que produce resultados adversos, que no son rastreables ni impugnables, es incompatible con la protección de los derechos fundamentales. Y los derechos fundamentales no pueden limitarse por una IA que no es totalmente comprensible ni totalmente controlada en su aprendizaje.
En tercer lugar, el uso de dicha IA implica la cosificación de la persona y un desprecio sistémico por la soberanía corporal. El uso de sistemas de inteligencia artificial particularmente intrusivos, como los que (afirman) inferir las emociones de las personas a partir de sus datos biométricos, afecta el derecho fundamental a la privacidad, la autonomía y la dignidad de la persona en cuestión.
Dignidad
El concepto de dignidad ocupó un lugar destacado en el rechazo por parte del Tribunal Supremo de ciertos métodos de examen en el contexto de la migración que invadieron la esfera personal de los solicitantes de asilo. En un caso anterior, el tribunal dictaminó que las “pruebas” de orientación sexual, realizadas por las autoridades nacionales para evaluar el miedo a la persecución por motivos de orientación sexual, infringirían por su naturaleza la dignidad humana.
En mi opinión, este sería el caso, y más aún, de ERS AI para la evaluación de un solicitante de asilo.
A pesar de los riesgos inaceptables para los derechos y libertades de las personas afectadas por el uso de estos sistemas, en particular por parte de las autoridades públicas, el ERS y otras “herramientas” de IA, como el polígrafo (el detector de mentiras), se clasifican como IA de alto riesgo. .
Pero estos sistemas llevarían el “marcado CE” y disfrutarían de libre circulación dentro del mercado interior.
La evaluación del impacto sobre los derechos fundamentales, que deben realizar los usuarios de la IA antes de su despliegue, difícilmente puede considerarse un remedio satisfactorio.
En primer lugar, no resolvería la cuestión de la “previsibilidad” (una persona puede o no estar sujeta en última instancia a ERS AI, dependiendo del resultado de la evaluación “caso por caso”). En segundo lugar, y lo más importante, la cuestión en juego no tiene que ver con los “riesgos”. El daño a la integridad psíquica que sufre el solicitante de asilo no es un riesgo: es una certeza.
El derecho a estar libre de inferencias estadísticas sobre nuestro estado de ánimo es de hecho un derecho y no una cuestión de circunstancias. Transformar los derechos en riesgos es el cambio regulatorio sin precedentes de la Ley de IA, que en muchos casos, en mi opinión, no resiste la prueba de legalidad.
El enfoque de regulación de riesgos puede estar en desacuerdo con el “derecho a tener derechos”. El daño a la dignidad que surge de la IA fisonómica, que es per se injusta y engañosa, no es una cuestión de salvaguardias procesales, como “humano en el circuito” o “notificación y consentimiento”, o de soluciones técnicas.
Si consideramos que en la mayoría de los casos los requisitos para la gestión de riesgos se confían a normas técnicas (entrando en áreas de política pública, como los derechos fundamentales), los fundamentos legales inestables de la Ley de IA se vuelven aún más evidentes.
Al abogar por una regulación de la IA que anteponga los derechos humanos a otras consideraciones, me centré en la “datificación” del cuerpo humano. Trato diferencial de las personas debido a inferencias (‘categorizaciones biométricas’, pensamientos, inclinaciones, creencias, intenciones ‘reconocidas’) del cuerpo (la cara, la voz, la forma de caminar) hechas por máquinas: no se trata sólo de una ‘serpiente’ “La IA del petróleo”, es una línea que ninguna buena sociedad debería cruzar.
Otros aspectos de la Ley de IA, a saber, la regulación del uso por parte de la policía del reconocimiento facial retrospectivo y en tiempo real de personas en espacios de acceso público; la “categorización de datos biométricos en el ámbito de la aplicación de la ley”; y la policía predictiva basada en la elaboración de perfiles, también podría ser considerada por el tribunal de la UE como carente de los requisitos de previsibilidad, necesidad y proporcionalidad.
Por estos motivos, espero que los eurodiputados no aprueben la Ley de IA en su texto actual. La UE es una luz guía sobre los derechos fundamentales en un mundo desafiante.
La normalización de intrusiones “algorítmicas” arbitrarias en nuestra vida interior a través de nuestra apariencia física (ya sea en entrevistas de trabajo, cuando caminamos por la calle o a través de chats o vídeos robotizados en las fronteras) proporciona un legado de desprecio por la dignidad humana.
La toma de decisiones basada en nuestras supuestas emociones inferidas por la IA a partir de la cara o la voz (“lo que diría el cuerpo”) amenaza nuestra herencia de derechos fundamentales: el sueño de nuestros padres, que de alguna manera se hizo realidad después de la Segunda Guerra Mundial, y que debemos confiar cuidadosamente a nuestros hijos.
El acuerdo del diálogo tripartito sobre la Ley de IA será votado por la comisión de mercado interior del parlamento el martes (13 de febrero) y por el pleno en abril como pasos finales para adoptar el texto.