Adobe se burla de las herramientas de video generativas de IA

Adobe

El lunes, Adobe Anunciado planes para agregar herramientas de síntesis de video AI a Premiere Pro y After Effects, informes Reuters. Esto sigue un anuncio la semana pasada que la edición de video basada en texto impulsada por IA llegará a Premiere Pro en mayo.

Los efectos de video generativos de Adobe serán cortesía de Adobe Firefly. Firefly, un modo de síntesis de imágenes que cubrimos anteriormente en marzo, se expandirá para incluir herramientas de generación de video y audio. estreno profesional es la aplicación de edición de video insignia de Adobe, una herramienta popular de la industria para ensamblar programas de televisión y películas de Hollywood.

Actualmente, realizar ciertos efectos especiales o tareas de edición a menudo puede ser laborioso. Adobe tiene como objetivo optimizar ese proceso con asistencia generativa de IA. En un carrete de demostración publicado en su blog, Adobe mostró “Firefly for Video” generando una banda sonora de fondo, generando efectos de sonido, cambiando la estación visual en un video, creando un efecto visual en la palabra “fundido”, ubicando e iluminando el rostro de una persona. y generar transcripciones de audio a través de comandos de texto.

En su blog promocional, Adobe menciona las características que podríamos esperar de sus nuevas herramientas de inteligencia artificial, incluidas algunas enumeradas anteriormente (como la generación de efectos de sonido y música), pero también mejoras de color basadas en texto, animaciones de texto y logotipo, creación automática de guiones gráficos y creatividad. copilotos” que supuestamente pueden generar procedimientos para ayudar a los usuarios a dominar las habilidades de edición.

Si este tipo de herramientas de edición de video basadas en texto parecen familiares, es porque Runway se burló de capacidades similares en septiembre, aunque Runway aún tiene que cumplir esas promesas con la fidelidad que se muestra en su avance. Del mismo modo, probablemente sea prudente tomar el video de marketing de Adobe con cautela hasta que se lance el producto.

(Y solo el tiempo dirá si Adobe Firefly alguna vez podrá generar un video de Will Smith comiendo espagueti que pueda competir con la obra maestra ideada por ModelScope, un modelo de síntesis de video de código abierto).

En un anuncio separado pero relacionado la semana pasada, Adobe anunció que está integrando la edición de video basada en texto en Adobe Premiere Pro, lo que permitirá a los editores recortar y reorganizar el video en función de las transcripciones de voz detectadas automáticamente extraídas de los clips de video. Así es como Adobe describe la característica:

Premiere Pro es el único software de edición profesional que incorpora la edición basada en texto, lo que revoluciona la forma en que los creadores abordan su oficio al hacer que la edición de video sea tan simple como copiar y pegar texto. Con la tecnología de Adobe Sensei, la edición basada en texto analiza y transcribe automáticamente los clips para que los editores, productores y asistentes puedan simplemente copiar y pegar oraciones en el orden que deseen y verlos aparecer instantáneamente en la línea de tiempo. Las transcripciones se pueden buscar en la ventana de transcripción para identificar palabras y frases exactas.

Adobe inicialmente presentó una vista previa de una capacidad de edición de video basada en texto similar como parte del “Proyecto Blink” en octubre, aunque ahora Adobe dice que estas características provienen de su “adobe sensei“Marco. No está claro si la diferencia es técnica o simplemente de marca. Vale la pena señalar que una empresa llamada Describir ofrece una función similar para la edición de videos y podcasts.

Adobe dice que sus características Firefly for Video comenzarán a implementarse “a finales de este año” y también permitirán a las personas inscribirse para probar Firefly, que actualmente se encuentra en pruebas beta cerradas. Mientras tanto, Adobe promete que la edición de video basada en texto llegará a Adobe Premiere Pro en mayo.