Una de las sesiones más interesantes en Adobe MAX es tradicionalmente la nota clave de Sneaks, donde los ingenieros de las distintas unidades de la compañía muestran su trabajo más avanzado. A veces, esos se convierten en productos. A veces no lo hacen. En la actualidad, gran parte del trabajo se centra en la inteligencia artificial, a menudo basada en la plataforma Adobe Sensei. Este año, la compañía nos dio un vistazo temprano al Proyecto Sweet Talk, uno de los adelantos destacados del evento de esta noche.
La idea aquí es bastante sencilla, pero difícil de lograr: tomar un retrato, ya sea un dibujo o una pintura, identificar las diferentes partes de la cara, luego animar la boca en sincronía con una voz en off. Hoy, el Animador de personajes de Adobe (que puede haber visto en programas como The Late Show with Stephen Colbert) hace algo de eso, pero está limitado en la cantidad de animaciones, y el resultado, incluso en manos de los mejores animadores, no No siempre parezca tan realista (en la medida de lo posible para el tipo de dibujos que anima en el producto). Project Sweet Talk es mucho más inteligente. Analiza la voz en off y luego usa su inteligencia artificial para animar de manera realista la boca y la cabeza del personaje.
El equipo, dirigido por el investigador de Adobe Dingzeyu Li, junto con Yang Zhou (Universidad de Massachusetts, Amherst) y José Echevarria y Eli Schectman (Adobe Research), en realidad alimentaron a su modelo con miles de horas de video de personas reales hablando con la cámara. Youtube. Sorprendentemente, ese modelo se transfirió muy bien al dibujo y las pinturas, a pesar de que las caras con las que trabajó el equipo, incluidos los dibujos bastante básicos de caras de animales, en realidad no parecen caras humanas.
"La animación es difícil y todos lo sabemos", me dijo Li. “Si todos sabemos que si queremos alinear una cara con una pista de audio dada, es aún más difícil. Adobe Charter Animator ya tiene una función llamada "sincronización de labios computarizada" del audio de la escena ", y eso le muestra cuáles son las limitaciones". La función existente en Character Animator solo mueve la boca, mientras que todo lo demás permanece estático. Eso obviamente no es un aspecto muy realista. Si observa los ejemplos incrustados en esta publicación, verá que el equipo distorsiona las caras automáticamente para que se vean más realistas, todo desde una imagen JPG básica.
Debido a que esto se deforma, Project Sweet Talk no funciona tan bien en las fotos. Simplemente no se verían bien, y también significa que no hay necesidad de preocuparse por nadie que abuse de este proyecto deepfakes. "Para generar una falsificación profunda de aspecto realista, se necesitan muchos datos de entrenamiento", me dijo Li. “En nuestro caso, solo nos enfocamos en los puntos de referencia, que pueden predecirse a partir de imágenes, y los puntos de referencia son suficientes para animar animaciones. Pero en nuestros experimentos, encontramos que los puntos de referencia por sí solos no son suficientes para generar fotos de aspecto realista (basadas en la animación) ".
Lo más probable es que Adobe construya esta característica en Character Animator a largo plazo. Li también me dice que construir un sistema en tiempo real, similar a lo que es posible hoy en Character Animator, ocupa un lugar destacado en la lista de prioridades del equipo.
