Miles de personas que utilizaban el metro de Londres vieron sus movimientos, comportamiento y lenguaje corporal vigilados por AI software de vigilancia diseñado para ver si estaban cometiendo delitos o se encontraban en situaciones inseguras, revelan nuevos documentos obtenidos por WIRED. El software de aprendizaje automático se combinó con imágenes de CCTV en vivo para tratar de detectar comportamientos agresivos y armas o cuchillos blandidos, así como buscar personas que cayeran a las vías del metro o esquivaran las tarifas.
Desde octubre de 2022 hasta finales de septiembre de 2023, Transport for London (TfL), que opera la red de metro y autobús de la ciudad, probó 11 algoritmos para monitorear a las personas que pasaban por la estación de metro Willesden Green, en el noroeste de la ciudad. La prueba de concepto es la primera vez que el organismo de transporte combina inteligencia artificial y secuencias de video en vivo para generar alertas que se envían al personal de primera línea. Durante la prueba se emitieron más de 44.000 alertas, de las cuales 19.000 se entregaron al personal de la estación en tiempo real.
Documentos enviados a WIRED en respuesta a una Solicitud de la Ley de Libertad de Información detalla cómo TfL utilizó una amplia gama de algoritmos de visión por computadora para rastrear el comportamiento de las personas mientras estaban en la estación. Es la primera vez que se informan todos los detalles de la prueba, y TfL dijo, en diciembre, que ampliará su uso de IA para detectar la evasión de tarifas a Más estaciones en toda la capital británica.
En la prueba en Willesden Green, una estación que tenía 25.000 visitantes por día antes de la pandemia de COVID-19, el sistema de inteligencia artificial se configuró para detectar posibles incidentes de seguridad para permitir que el personal ayudara a las personas necesitadas, pero también se centró en comportamientos criminales y antisociales. . Tres documentos proporcionados a WIRED detallan cómo se utilizaron modelos de IA para detectar sillas de ruedas, cochecitos, vapeadores, personas que acceden a áreas no autorizadas o se ponen en peligro al acercarse al borde de los andenes del tren.
Los documentos, que están parcialmente redactados, también muestran cómo la IA cometió errores durante la prueba, como señalar a los niños que seguían a sus padres a través de las barreras de boletos como posibles evasores de tarifas, o no poder distinguir entre una bicicleta plegable y una bicicleta no plegable. Los agentes de policía también ayudaron en el juicio sosteniendo un machete y una pistola a la vista de las cámaras de CCTV, mientras la estación estaba cerrada, para ayudar al sistema a detectar mejor las armas.
Los expertos en privacidad que revisaron los documentos cuestionan la precisión de los algoritmos de detección de objetos. También dicen que no está claro cuántas personas sabían sobre el ensayo y advierten que dichos sistemas de vigilancia podrían ampliarse fácilmente en el futuro para incluir sistemas de detección más sofisticados o software de reconocimiento facial que intente identificar a individuos específicos. “Si bien este ensayo no involucró el reconocimiento facial, el uso de la IA en un espacio público para identificar comportamientos, analizar el lenguaje corporal e inferir características protegidas plantea muchas de las mismas cuestiones científicas, éticas, legales y sociales que plantean las tecnologías de reconocimiento facial. “, dice Michael Birtwistle, director asociado del instituto de investigación independiente Ada Lovelace Institute.
En respuesta a la solicitud de Libertad de Información de WIRED, TfL dice que utilizó imágenes de CCTV existentes, algoritmos de inteligencia artificial y “numerosos modelos de detección” para detectar patrones de comportamiento. “Al proporcionar al personal de la estación información y notificaciones sobre el movimiento y el comportamiento de los clientes, se espera que puedan responder a cualquier situación más rápidamente”, dice la respuesta. También dice que el ensayo ha proporcionado información sobre la evasión de tarifas que “nos ayudará en nuestros enfoques e intervenciones futuras”, y los datos recopilados están en línea con su políticas de datos.
En una declaración enviada después de la publicación de este artículo, Mandy McGregor, jefa de políticas y seguridad comunitaria de TfL, dice que los resultados del ensayo continúan analizándose y agrega que “no hubo evidencia de sesgo” en los datos recopilados del ensayo. Durante el juicio, dice McGregor, no había carteles en la estación que mencionaran las pruebas de las herramientas de vigilancia de IA.
“Actualmente estamos considerando el diseño y alcance de una segunda fase del ensayo. No se han tomado otras decisiones sobre la ampliación del uso de esta tecnología, ni a más estaciones ni a añadir capacidad”. dice McGregor. “Cualquier implementación más amplia de la tecnología más allá de un piloto dependería de una consulta completa con las comunidades locales y otras partes interesadas relevantes, incluidos expertos en el campo”.