La inteligencia artificial ya ha derribado un gobierno en Europa.
En 2019, la autoridad fiscal holandesa utilizó algoritmos de autoaprendizaje para crear perfiles de riesgo en un intento por detectar el fraude relacionado con las prestaciones para el cuidado de niños. Cuando quedó claro que las familias, principalmente de comunidades de minorías étnicas, habían sido identificadas bajo sospecha de fraude y luego penalizadas debido a perfiles generados por algoritmos, un escándalo político masivo derrocó al gobierno del primer ministro holandés Mark Rutte.
-
La ex jefa de derechos humanos de las Naciones Unidas, Michelle Bachelet, advirtió que los sistemas de IA podrían conllevar riesgos ‘negativos, incluso catastróficos’ (Foto: Wikimedia Commons)
Rutte sobrevivió. Pero miles de vidas ordinarias fueron arruinadas.
A medida que la inteligencia artificial se convierte en una característica esencial, aunque invisible, de nuestras interacciones diarias, prepárense para más disputas políticas en toda la UE, centradas en las propuestas de la Comisión Europea para regular el sector.
Las propuestas, realizadas en 2019, ahora se están abriendo paso en el Parlamento Europeo, donde los grupos políticos han presentado más de 3.000 enmiendas, y se espera que reciban la luz verde del Consejo en diciembre. La Ley de IA de la UE se acordará el próximo año, después de negociaciones intrainstitucionales.
Sin embargo, espere un enfrentamiento entre el parlamento y el consejo. Se espera que los eurodiputados presionen por una regulación más estricta y una mejor protección de los derechos, mientras que los gobiernos probablemente abogarán por menos reglas, citando la necesidad de competitividad y preocupaciones de seguridad.
“El éxito del texto radicará en el equilibrio que encontremos entre la necesidad de proteger los intereses y derechos de nuestros ciudadanos y el interés de estimular la innovación y fomentar la adopción y el desarrollo de la IA”, dijo el eurodiputado liberal rumano Dragoș Tudorache, uno de los los legisladores europeos a cargo del expediente, dijo recientemente. “Las verdaderas discusiones políticas aún están por llegar”.
El eurodiputado socialista búlgaro Petar Vitanov, uno de los negociadores en el expediente, dice que el enfoque debe ser garantizar que “los derechos y libertades fundamentales estén salvaguardados, no puede haber innovación sin derechos fundamentales”.
Los temas clave incluyen la gobernanza de la ley y la definición de riesgo de la legislación.
Los legisladores quieren dar a la comisión el poder de ampliar la lista de las llamadas “áreas de alto riesgo” y aumentar las multas por incumplimiento a 40 millones de euros o el siete por ciento de la facturación anual.
Algunos gobiernos de la UE buscan exenciones para el uso de IA por parte de las autoridades migratorias y las fuerzas del orden, lo que podría llevar a un mayor control sobre las comunidades, incluidas las comunidades étnicas, que ya están más vigiladas que otras.
Mientras que algunos críticos, como la ex jefa de derechos humanos de las Naciones Unidas, Michelle Bachelet, dicen que los gobiernos deberían suspender la venta y el uso de sistemas de inteligencia artificial hasta que se puedan abordar los riesgos “negativos, incluso catastróficos” que plantean.
Un informe de la ONU sobre el uso de la IA como herramienta de pronóstico y creación de perfiles advierte que la tecnología podría tener un impacto en los “derechos a la privacidad, a un juicio justo, a no ser arrestado y detenido arbitrariamente y el derecho a la vida”.
Bachelet reconoció que la IA “puede ser una fuerza para el bien, ayudando a las sociedades a superar algunos de los grandes desafíos de nuestro tiempo”, pero sugirió que los daños que podría generar superan los aspectos positivos. “Cuanto mayor sea el riesgo para los derechos humanos, más estrictos deberían ser los requisitos legales para el uso de la tecnología de inteligencia artificial”, dijo.
La propuesta de la comisión exige la prohibición de las aplicaciones de IA que manipulan el comportamiento humano (como los juguetes que usan asistencia de voz para fomentar actividades peligrosas en los niños) o los sistemas que permiten la “puntuación social” al estilo chino. También está prohibido el uso de sistemas de identificación biométrica, como el reconocimiento facial, para la aplicación de la ley en espacios públicos.
Se permiten excepciones en el caso de la búsqueda de víctimas de secuestro, la identificación de un autor o sospechoso de un delito, o para la prevención de amenazas inminentes, como un ataque terrorista.
Los activistas de los derechos digitales advierten, sin embargo, que existen “lagunas” que permiten la vigilancia masiva.
Cualquier exención otorgada a los gobiernos y las empresas para el uso de un sistema de IA que sea “puramente accesorio” y se use en un asunto menor podría, de hecho, “socavar todo el acto”, advierte Sarah Chander, quien dirige el trabajo de políticas sobre Inteligencia Artificial para European Digital Rights (EDRi), una red de organizaciones sin ánimo de lucro que trabajan para defender los derechos digitales en la UE.
Alto riesgo
La propuesta de la Comisión se centra en los denominados sistemas de IA de “alto riesgo” que pueden poner en peligro la seguridad o los derechos fundamentales de las personas, como la educación (por ejemplo, la calificación de exámenes), el empleo (como el software de filtrado de CV para la contratación) o los servicios públicos. (por ejemplo, calificación crediticia para negar a las personas la oportunidad de obtener un préstamo).
Las empresas que quieran competir utilizando sistemas de IA en esta categoría de “alto riesgo” deberán cumplir con los requisitos de la UE, como la explicabilidad, la evaluación de riesgos y la supervisión humana.
Sin embargo, a algunos les preocupa que estos requisitos puedan disuadir a las empresas emergentes y a las empresas de invertir en Europa en tales sistemas de IA, lo que otorgaría una ventaja competitiva a EE. UU. o China.
Las empresas que no cumplan con la legislación podrían enfrentarse a multas de hasta 30 millones de euros o el seis por ciento de su facturación global.
Chander destacó que algunos de los mayores daños de los sistemas de IA podrían provenir de la prestación de servicios públicos, como los servicios sociales, la vigilancia (donde la vigilancia predictiva basada en la vigilancia masiva es una preocupación importante) y la migración. Las decisiones sociales basadas en IA son peligrosas porque los sistemas de IA hacen que las suposiciones parezcan hechos.
Chander dice que la propuesta de la comisión no va lo suficientemente lejos en la restricción del uso del reconocimiento facial. Su organización también quiere prohibir el uso de IA para la vigilancia y la migración predictivas, así como para predecir emociones.
Los defensores de los derechos argumentan que las empresas deberían estar obligadas a realizar evaluaciones de impacto en los derechos fundamentales y proporcionar información sobre dónde y cómo se usaría un sistema de IA y su impacto en las personas.
También quieren que se proporcione información clara al público y dicen que los ciudadanos deberían poder buscar explicaciones de las autoridades públicas o las empresas. Los ciudadanos también deberían poder reclamar recursos si una empresa o una autoridad ha violado la Ley de AI, o si un sistema prohibido ha afectado a un individuo.
Chander dijo que existe un malentendido común de que el sistema de IA se puede “perfeccionar”, y los formuladores de políticas a menudo le preguntan cómo mejorar estos sistemas, menos propensos a sesgos. Pero esa es la pregunta equivocada, argumenta, porque el problema es que los sistemas de IA están replicando un sistema que ya es discriminatorio.
“Algunos sistemas no se pueden mejorar”, dice, y agrega: “No queremos hacer un sistema policial predictivo perfecto o un detector de mentiras perfecto”.