Fawkes ya se ha descargado casi medio millón de veces desde el sitio web del proyecto. Un usuario también ha construido un versión en línea, lo que hace que sea aún más fácil de usar para las personas (aunque Wenger no se responsabilizará de que terceros usen el código, advirtiendo: “No sabe lo que está sucediendo con sus datos mientras esa persona los está procesando”). Todavía no hay una aplicación para el teléfono, pero nada impide que alguien cree una, dice Wenger.
Fawkes puede evitar que un nuevo sistema de reconocimiento facial lo reconozca, digamos, el próximo Clearview. Pero no saboteará los sistemas existentes que ya han sido entrenados con sus imágenes desprotegidas. Sin embargo, la tecnología está mejorando todo el tiempo. Wenger cree que una herramienta desarrollada por Valeriia Cherepanova y sus colegas de la Universidad de Maryland, uno de los equipos de ICLR esta semana, podría abordar este problema.
Llamada Clave baja, la herramienta se expande en Fawkes al aplicar perturbaciones a las imágenes basadas en un tipo de ataque adverso más fuerte, que también engaña a los modelos comerciales previamente entrenados. Como Fawkes, LowKey también está disponible en línea
Ma y sus colegas han agregado un giro aún mayor. Su enfoque, que convierte las imágenes en lo que ellos llaman ejemplos inaprendibles, hace que una IA ignore tus selfies por completo. “Creo que es genial”, dice Wenger. “Fawkes entrena a un modelo para que aprenda algo malo sobre usted, y esta herramienta entrena a un modelo para que no aprenda nada sobre usted”.
A diferencia de Fawkes y sus seguidores, los ejemplos que no se pueden aprender no se basan en ataques contradictorios. En lugar de introducir cambios en una imagen que obligan a una IA a cometer un error, el equipo de Ma agrega pequeños cambios que engañan a una IA para que la ignore durante el entrenamiento. Cuando se le presente la imagen más tarde, su evaluación de lo que contiene no será mejor que una suposición aleatoria.
Los ejemplos imposibles de aprender pueden resultar más efectivos que los ataques adversarios, ya que no se puede entrenar contra ellos. Cuantos más ejemplos de adversarios ve una IA, mejor los reconoce. Pero debido a que Ma y sus colegas impiden que una IA entrene con imágenes en primer lugar, afirman que esto no sucederá con ejemplos que no se pueden aprender.
Sin embargo, Wenger está resignado a una batalla en curso. Su equipo notó recientemente que el servicio de reconocimiento facial de Microsoft Azure ya no estaba engañado por algunas de sus imágenes. “De repente, de alguna manera se volvió robusto para las imágenes encubiertas que habíamos generado”, dice ella. “No sabemos qué pasó”.
Es posible que Microsoft haya cambiado su algoritmo, o que la IA simplemente haya visto tantas imágenes de personas que usaban Fawkes que aprendió a reconocerlas. De cualquier manera, el equipo de Wenger lanzó una actualización de su herramienta la semana pasada que funciona nuevamente contra Azure. “Esta es otra carrera armamentista del gato y el ratón”, dice.
Para Wenger, esta es la historia de Internet. “Empresas como Clearview están aprovechando lo que perciben como datos de libre acceso y los utilizan para hacer lo que quieran”, afirma.
La regulación podría ayudar a largo plazo, pero eso no evitará que las empresas exploten las lagunas. “Siempre habrá una desconexión entre lo que es legalmente aceptable y lo que la gente realmente quiere”, dice. “Herramientas como Fawkes llenan ese vacío”.
“Démosle a la gente algo de poder que antes no tenían”, dice.