Los investigadores de Disney han creado una nueva red neuronal que puede alterar la edad visual de los actores en la televisión o el cine. informes
Tradicionalmente, cuando el personal de efectos especiales en una producción de video o película necesita hacer que un actor parecer mayor o menor (una técnica que Disney llama “re-envejecimiento”), por lo general usan un proceso de modelado 3D y escaneo 3D o un retoque digital 2D cuadro por cuadro de la cara del actor usando herramientas similares a Photoshop. Este proceso puede llevar semanas o más, dependiendo de la duración del trabajo.
En contraste, la nueva técnica de IA de Disney, llamada Face Re-aging Network (FRAN), automatiza el proceso. Disney lo llama “el primer método práctico, completamente automático y listo para producción para envejecer rostros en imágenes de video”.
Un video de demostración de investigación para la tecnología de envejecimiento de Disney.
Para construir FRAN, los investigadores de Disney generaron aleatoriamente miles de ejemplos de rostros envejecidos sintéticamente entre las edades de 18 y 85 años usando EstiloGAN2. Con esos datos de entrenamiento en la mano, FRAN aprendió los principios generales sobre cómo cambia la apariencia de una persona con la edad. Ahora que el entrenamiento está completo, puede aplicar esos principios de envejecimiento a un actor real en movimiento, cuadro por cuadro.
“Nuestra red está entrenada de manera supervisada en una gran cantidad de pares de imágenes faciales que muestran la misma persona sintética y fotorrealista, etiquetadas con las edades de origen y objetivo correspondientes”, escribieron los investigadores en un artículo correspondiente. artículo académico. Al generar los datos de entrenamiento de forma sintética, evitaron la “tarea aparentemente imposible” de recopilar imágenes que representan “una variedad de identidades, edades y etnias en diferentes puntos de vista”.
El resultado es lo que Disney llama una solución “lista para la producción”, lo que significa que crea una salida de calidad lo suficientemente alta como para usarse en una película o programa de televisión real. Es posiblemente la primera solución de inteligencia artificial de este tipo que puede alterar dinámicamente la edad de un actor en un video a pesar de las expresiones variables, las condiciones de iluminación y los puntos de vista. Los investigadores también desarrollaron una interfaz fácil de usar para FRAN que permitirá a los artistas utilizar fácilmente la herramienta en un entorno de producción.
Disney presentó la investigación en un papel titulado “Reenvejecimiento facial listo para producción para efectos visuales” el miércoles y lo presentó para su inclusión en la 2022 ACM SIGGRAPH Asia conferencia en diciembre. Los autores del artículo incluyen a Gaspard Zoss, Prashanth Chandran, Eftychios Sifakis, Markus Gross, Paulo Gotardo y Derek Bradley, todos afiliados a Disney Research Studios en Zúrich, Suiza.
Teniendo en cuenta la historia de Disney con insertando actores generados por computadora en películas y programas de televisión de Star Wars, incluidos algunos que han sido envejecido usando CGIno nos sorprendería ver una tecnología similar a FRAN ampliamente utilizada en futuras producciones de Disney, aunque no se han anunciado planes.