La última investigación de Facebook establece modelos de aprendizaje automático para tareas que, para nosotros, parecen bastante comunes, pero para una computadora aún son monstruosamente difíciles. Estos proyectos tienen como objetivo anonimizar rostros, improvisar movimientos de las manos y, quizás lo más difícil de todo, dar consejos de moda creíbles.
La investigación aquí fue presentada recientemente en el Conferencia internacional sobre visión por computadora, entre unas pocas docenas otros papeles de la compañía, que ha invertido mucho en investigación de IA, en particular en visión artificial.
Modificar caras en movimiento es algo que todos hemos asociado con "deepfakes" y otras aplicaciones nefastas. Pero el equipo de Facebook sintió que en realidad había una aplicación potencialmente humanitaria de la tecnología.
Deepfakes utiliza una comprensión cuidadosamente cultivada de las características y puntos de referencia de la cara para mapear las expresiones y movimientos de una persona en una cara completamente diferente. El equipo de Facebook usó las mismas características y puntos de referencia, pero en su lugar los usó para ajustar la cara lo suficiente como para que sea ya no es reconocible para los motores de reconocimiento facial
Esto podría permitir que alguien que, por cualquier razón, quiera aparecer en video pero no ser reconocido públicamente, lo haga sin algo tan torpe como una máscara o una cara completamente fabricada. En cambio, se verían un poco como ellos, pero con ojos ligeramente más anchos, una boca más delgada, frente más alta, y así sucesivamente.
El sistema que crearon parece funcionar bien, pero, por supuesto, requeriría cierta optimización antes de que pueda implementarse como producto. Pero uno puede imaginar cuán útil podría ser tal cosa, ya sea para aquellos en riesgo de represalias de los opresores políticos o más preferencias de privacidad de variedades de jardín.
En los espacios virtuales puede ser difícil reconocer a alguien, en parte debido a la falta de señales no verbales que percibimos constantemente en la vida real. Esta próxima pieza de investigación intenta capturar, catalogar y reproducir estos movimientos, o al menos los que hacemos con nuestras manos.
Es un poco extraño pensar en eso, pero realmente no hay muchos datos sobre cómo exactamente las personas mueven sus manos cuando hablan. Entonces, los investigadores registraron 50 horas completas de pares de personas que tenían conversaciones ordinarias, o tan ordinarias como podían mientras estaban vestidas con equipo de captura de movimiento de alta gama.
Estas conversaciones (relativamente) naturales, y los movimientos del cuerpo y la mano que las acompañaron, fueron luego ingeridos por el modelo de aprendizaje automático; aprendió a asociar, por ejemplo, que cuando las personas decían "en aquel entonces" señalaban detrás de ellos, o cuando decían "por todas partes", hacían un gesto radical.
¿Para qué podría usarse esto? Conversaciones de apariencia más natural en entornos virtuales, tal vez, pero tal vez también por animadores a quienes les gustaría basar los movimientos de sus personajes en la vida real sin hacer su propia captura de movimiento. Resulta que la base de datos que Facebook reunió es realmente como nada más en escala o detalle, lo cual es valioso en sí mismo.
Del mismo modo único, pero posiblemente más frívolo, este sistema está destinado a ayudarlo a mejorar su atuendo. Si vamos a tener espejos inteligentes, deberían poder hacer sugerencias, ¿verdad?
Moda ++ es un sistema que, después de haber ingerido una gran biblioteca de imágenes etiquetadas con las piezas usadas (por ejemplo, sombrero, bufanda, falda) y la moda general (obviamente una medida subjetiva), puede mirar un atuendo determinado y sugerir cambios. Nada importante, no es tan sofisticado, sino cosas pequeñas como quitarse una capa o meterse una camisa.
Está lejos de ser un asistente de moda digital, pero el documento documenta el éxito temprano al hacer sugerencias para conjuntos que personas reales encontraron creíbles y tal vez incluso una buena idea. Eso es bastante impresionante dado lo complejo que resulta ser este problema cuando realmente lo consideras, y lo mal definido que está "de moda".
La investigación de ICCV de Facebook muestra que la compañía y sus investigadores están analizando de manera bastante amplia la cuestión de qué puede lograr la visión por computadora. Siempre es bueno detectar rostros en una foto más rápido o con mayor precisión, o inferir la ubicación de los objetos en una habitación, pero claramente hay muchos aspectos más oscuros o sorprendentes de la vida digital que podrían mejorarse con un poco de inteligencia visual. Puedes ver el resto de los documentos aquí.