Hacia una edición de video con IA más controlable: una exploración temprana de investigación en Netflix.

Por Zhuoning Yuan, Ta-Ying Cheng, Benjamin Klein, Bahareh Azarnoush Introducción En Netflix, construimos tecnología para ayudar a los narradores a dar vida a sus visiones creativas y para ayudar a los miembros a descubrir las historias que aman. Para conectar historias con audiencias diversas en todo el mundo, producimos activos promocionales, incluidos tráilers, adelantos y videos cortos en redes sociales, que se basan en y elevan el material original. A través de una estrecha colaboración con los equipos que crean estos activos, identificamos una brecha recurrente en las herramientas actuales. Transformar material en bruto en un activo final pulido a menudo requiere ediciones complejas, como agregar nuevos elementos visuales de manera fluida, parchear o reemplazar fondos, o eliminar objetos no deseados sin romper la continuidad física de la escena. Estas tareas generalmente exigen horas de trabajo de edición manual especializada. Si bien los modelos recientes de edición de video generativa muestran promesas, a menudo luchan por preservar la integridad del material fuente. Muchos métodos regeneran cada píxel para hacer una edición, lo que puede fallar al aislar cambios y alterar inadvertidamente elementos que deben permanecer intocados. Para ejecutar estas tareas de manera efectiva, los artistas necesitan herramientas que les permitan dictar exactamente qué cambios y cómo debe realizarse. Nuestro objetivo de investigación es facilitar este proceso para los artistas. Somos deliberados sobre dónde y cómo se aplica la IA, asegurando que la tecnología siempre sirva a la intención creativa. Ese principio impulsa nuestro trabajo reciente: explorar los beneficios de la IA generativa de maneras que protejan y amplíen la elección creativa, y manteniendo a los artistas en control preciso de su visión final. Los recientes avances en la edición de video por IA han demostrado capacidades impresionantes para agilizar flujos de trabajo de edición manual complejos, pero aún quedan desafíos clave antes de que puedan respaldar de manera confiable el uso profesional: Ediciones no deseadas: Al editar un elemento específico en un clip de video, muchos métodos regeneran todo el video, lo que puede alterar inadvertidamente la identidad, el rendimiento y otros elementos como objetos, fondos o detalles críticos de la escena. Izquierda: video de entrada. Derecha: salida de Ditto usando el aviso "cambiar el fondo a una carretera costera sinuosa en California", lo que cambia completamente la escena. Física no natural: Al eliminar objetos, muchos métodos solo se centran en borrar el objetivo e ignoran la continuidad física de la escena. Esto puede llevar a movimientos inconsistentes e interacciones improductivas, haciendo que los resultados se vean poco naturales. Izquierda: la máscara verde denota el objetivo a ser eliminado. Derecha: salida de Gen-Omnimatte donde se eliminó el objetivo, pero se ignoró la continuidad física de la escena; el flotador de piscina no debería moverse si no hay interacción con él. Hoy compartimos dos exploraciones de investigación que buscan abordar estos desafíos. Creemos que este trabajo puede ayudar a avanzar en el campo de una manera que sea tanto significativa como responsable: Vera: un modelo de difusión de video por capas. Vera genera solo lo que necesita cambiar como capas de edición separadas mientras deja el resto del video intacto, preservando las identidades, actuaciones y otros detalles del material fuente exactamente como fueron filmados. VOID: un modelo de inpainting de video para la eliminación de objetos y interacciones de video. VOID realiza inpainting físicamente plausible en escenas complejas: no solo elimina un objeto, sino que también reconstruye la escena como si el objeto nunca hubiera estado allí. Junto con esta publicación del blog, también estamos publicando públicamente los documentos de investigación que detallan las innovaciones algorítmicas detrás de Vera y VOID. Vera: Un Modelo de Difusión de Video por Capas Los modelos de edición de video existentes regeneran todo el clip, acoplando la edición deseada con regiones que deberían permanecer sin cambios. Esto aumenta el riesgo de alterar detalles del material original. Para abordar este desafío, presentamos Vera, un nuevo marco de difusión de video por capas para la edición de video que preserva el contenido. Adelanto de Vera (aviso: Este es un prototipo de investigación, no un producto oficial). Pipeline de Inferencia Dado un video fuente y una instrucción de edición de texto, Vera genera conjuntamente una capa de edición y un mate alfa. Estas capas se componen sin problemas con el material original para producir el resultado editado final. Por diseño, Vera admite tareas complejas como adición de objetos y cambio de fondo, mientras asegura que los píxeles fuera de las regiones editadas del video fuente permanezcan perfectamente intactos. Pipeline de inferencia para Vera: adición de objetos y reemplazo de fondo. Datos de Entrenamiento Uno de los principales desafíos en el desarrollo de Vera fue la falta de datos de entrenamiento adecuados. Dado que no existe un conjunto de datos público que proporcione los datos por capas de alta calidad que necesitamos (entrada limpia, mate alfa, capa de edición, video compuesto), construimos el nuestro. Usando una combinación de videos de código abierto existentes y anotaciones humanas, construimos un conjunto de datos de video por capas con un total de 486k fotogramas a 832×480 de resolución. Lo organizamos en tres subconjuntos de complejidad creciente: Compuestos Sintéticos: Clips con mates alfa de primer plano de alta calidad se componen sobre fondos generados automáticamente diversos. Este subconjunto proporciona supervisión sólida y confiable para el mateado alfa en tareas de adición de objetos y cambio de fondo. Videos Realistas de un Solo Objeto: Clips del mundo real se procesan a través de segmentación, mateado, inpainting/generación de fondo y filtrado de calidad humana. Este subconjunto aumenta la diversidad de escena y movimiento de cámara, mejorando la calidad de composición en ambas tareas. Videos Realistas de Múltiples Objetos con Efectos: Esto extiende el subconjunto anterior al aislar objetos individuales con mates alfa curados, incluidas sus asociadas efectos como sombras y reflejos. Este subconjunto mejora la composición y edición en escenas más complejas y dinámicas. Arquitectura del Modelo Más allá de los datos, el diseño del modelo es otro desafío clave. Las tres salidas objetivo que Vera genera: una capa de edición (ediciones creativas desacopladas), una capa de mate alfa (una máscara en escala de grises que depende del contenido de la edición y las interacciones de escena como oclusiones) y una capa compuesta (material natural) tienen distribuciones sustancialmente diferentes. En la práctica, usar una única arquitectura compartida para reconciliar estas diferencias resultó ser ineficiente en términos de datos. Para abordar esto, Vera utiliza un diseño MoT (Mezcla de Transformadores). En lugar de un solo DiT, utilizamos tres DiTs separados, uno para cada salida: Cada DiT mantiene sus propias proyecciones QKV y pesos FFN, pero concatenamos los tokens de salida de las tres ramas y luego los pasamos a la atención auto-regresiva conjunta. Esto permite la interacción entre capas mientras permite que cada rama se especialice. Todos los tres DiTs se inicializan desde el mismo modelo base preentrenado T2V. Agregamos dos capas adicionales de embedding de parches para el video de entrada y un video de máscara opcional. Los tokens del video fuente se añaden a los tokens compuestos, mientras que los tokens de máscara se añaden a los tokens alfa ruidosos. Todas las capas comparten el mismo RoPE (Codificación Posicional Rotativa). También añadimos embeddings aprendibles inicializados en cero a los tokens alfa y compuestos para ayudar al modelo a distinguir entre capas. Arquitectura de Vera en comparación con otros métodos. Entrenamos dos variantes de Vera: 1.3B y 14B parámetros. Evaluaciones y Resultados Para evaluar a Vera, curamos un conjunto de referencia de pares de video-prompt de prueba: 72 para adición de objetos y 69 para cambio de fondo, utilizando videos de código abierto. El conjunto de prueba abarca una variedad de dificultades, incluyendo movimientos lentos y rápidos, varios movimientos de cámara, objetos únicos y múltiples, y tanto escenas simples como complejas. Evaluamos el rendimiento en tres dimensiones complementarias: Preservación de Contenido: Mide si las regiones fuera de la edición objetivo permanecen estrictamente sin alterar, evaluado usando similitud a nivel de píxel y perceptual. Cumplimiento de Instrucciones: Mide cuán fielmente el video editado ejecuta el aviso de texto. Calidad del Video: Evalúa la coherencia temporal y la calidad espacial por fotograma del video editado final. En nuestros resultados, tanto Vera-1.3B como Vera-14B superaron significativamente las líneas de base existentes en preservación de contenido, mientras mantenían un rendimiento de calidad de video y cumplimiento de instrucciones similar en comparación con las líneas de base más fuertes (por favor, consulte el documento para los resultados completos). Comparaciones cualitativas entre Vera y líneas de base (por favor, consulte más ejemplos en el sitio web del proyecto Vera). Para complementar las métricas automatizadas, realizamos un estudio de preferencia humana comparando Vera contra cinco líneas de base. Colaboramos con 19 revisores creativos que evaluaron un total de 512 pruebas de video. En cada prueba, los revisores vieron comparaciones aleatorias lado a lado entre el modelo Vera y un modelo de línea de base. El consenso humano se alineó fuertemente con nuestros hallazgos cuantitativos: Vera-1.3B fue preferida sobre todas las líneas de base en preservación de contenido y cumplimiento de instrucciones. Además, los revisores calificaron la calidad del video de Vera como comparable a las líneas de base en tareas de cambio de fondo, y notaron una ventaja clara para Vera en tareas de adición de objetos. Estudio de usuario sobre el conjunto de prueba: Vera-1.3B vs. cinco líneas de base fuertes. VOID: Eliminación de Objetos e Interacciones en Video Los métodos existentes de eliminación de objetos en video sobresalen en el inpainting de contenido "detrás" del objeto y en la corrección de artefactos a nivel de apariencia como sombras y reflejos. Sin embargo, cuando el objeto eliminado tiene interacciones más significativas, como colisiones con otros objetos, los modelos actuales no logran corregirlos y producen resultados poco plausibles. Para abordar esto, presentamos VOID, un marco de eliminación de objetos en video diseñado para realizar inpainting físicamente plausible en estos escenarios complejos. Adelanto de VOID (aviso: Este es un prototipo de investigación, no un producto oficial). Un Pipeline de Inferencia de Dos Pasos Dado un video de entrada, el usuario hace clic en un objeto para eliminar. Un pipeline de razonamiento basado en VLM luego analiza la escena para identificar otras regiones que se verán afectadas causalmente, es decir, objetos que caerán, colisionarán o cambiarán de trayectoria. Este razonamiento físico se codifica en una cuadrimáscara para guiar el modelo de difusión: Primer Paso: VOID toma el video y las cuadrimáscaras como entrada y genera un video contrafactual físicamente plausible en el cual el objeto y sus interacciones son eliminados. Segundo Paso: Modelos de difusión de video más pequeños a veces sufren de "morfismo de objetos" al generar objetos en movimiento. Si VOID detecta este modo de falla, desencadena un segundo paso que vuelve a ejecutar la inferencia usando ruido deformado por flujo derivado del primer paso, estabilizando la forma del objeto a lo largo de su trayectoria recién sintetizada. Resumen del pipeline de inferencia de dos pasos de VOID. Datos de Entrenamiento Nos basamos en el motor de simulación Kubric y el conjunto de datos de captura de movimiento humano HUMOTO para generar pares de videos contrafactuales sintéticos junto con sus cuadrimáscaras correspondientes. Específicamente, los videos contrafactuales se generan al volver a simular la escena exacta del video original, pero con el objeto (o los humanos) objetivo eliminado. Esta re-simulación crea un resultado alternativo basado en estrictas leyes de la física. Por ejemplo, si se elimina a una persona que sostiene una lámpara de la escena, la simulación asegura que la lámpara obedezca la gravedad y caiga al suelo. Las cuadrimáscaras luego capturan el objeto eliminado (negro), las regiones afectadas (gris), sus superposiciones (gris oscuro) y las partes que permanecen sin cambios de la escena (blanco). Resumen del motor de datos de VOID. Entrenamiento del Modelo Durante el entrenamiento del modelo para VOID, introducimos dos mejoras con respecto a trabajos anteriores: (i) acondicionamiento de cuadrimáscaras, que identifica explícitamente regiones en cada fotograma que pueden cambiar después de que el objeto sea eliminado, y (ii) un refinador de apariencia de video de segunda pasada que reduce artefactos como el morfismo no deseado de objetos. VOID se entrena finalmente en el modelo base CogVideoX-Fun-V1.5–5b-InP con el punto de control de Gen-Omnimatte y ajustado para inpainting de video con acondicionamiento de cuadrimáscara consciente de interacciones. Evaluaciones y Resultados Los experimentos en datos sintéticos y reales demuestran que VOID preserva dinámicas consistentes de escena mucho mejor que los métodos anteriores de eliminación de objetos en video (por favor, consulte el documento para resultados completos). VOID mantiene con éxito la estructura del objeto y produce un movimiento plausible a lo largo del tiempo en una amplia variedad de casos del mundo real. En contraste, los resultados de líneas de base tanto de código abierto como cerrado exhiben consistentemente artefactos físicamente inexactos. Por ejemplo, las líneas de base generan salpicaduras de agua sin impacto humano (ver fila superior de la figura a continuación) o muestran trompos giratorios siendo interrumpidos sin la presencia de manos interactivas. Comparación de VOID con otras líneas de base fuertes (por favor, consulte más ejemplos en el sitio web del proyecto VOID). Para complementar nuestra evaluación cuantitativa, realizamos un estudio de usuario con 25 revisores creativos para medir el realismo perceptual y la plausibilidad física de nuestras ediciones contrafactuales. Cada participante fue asignado aleatoriamente a 5 de 75 escenarios del mundo real, resultando en un total de 125 comparaciones. Para cada video, los participantes vieron la entrada original junto a las salidas de VOID y seis líneas de base (siete modelos en total) en un orden aleatorio. Se pidió a los participantes que seleccionaran el video que mejor reflejara cómo debería aparecer realísticamente la escena después de que se eliminara el objeto, teniendo en cuenta la calidad visual, la consistencia temporal, la fusión, el realismo de la evolución de la escena y la ausencia de artefactos. VOID fue seleccionado el 64.8% de las veces, superando sustancialmente todos los modelos de línea de base. Estudio de usuario sobre ejemplos de prueba del mundo real: VOID vs. seis líneas de base. Mirando hacia adelante Aplicar la IA de maneras que atienden tanto las necesidades de los miembros como de los creadores es fundamental para nuestra filosofía de investigación, y estos proyectos reflejan ese enfoque. Si bien Vera y VOID muestran resultados prometedores tempranos, alcanzar una calidad lista para la producción requerirá abordar varias limitaciones que encontramos. Por ejemplo, Vera tiene dificultades con algunos efectos complejos como relámpagos o humo debido a la limitada data de entrenamiento, y en algunos casos, no logra mantener el movimiento de fondo completamente consistente con el movimiento de cámara de entrada. A pesar de las diversas capacidades de generalización que exhibe VOID, aún observamos brechas de dominio. Por ejemplo, no puede manejar videos con ángulos de cámara inusuales o tomas capturadas muy cerca del objeto objetivo, y actualmente tiene restricciones sobre la longitud y resolución de video soportadas. Estas limitaciones motivan una inversión continua en esta línea de investigación. Vera y VOID son esfuerzos importantes hacia hacer que la edición de video compleja sea más controlable y accesible para los artistas. Para este trabajo, utilizamos conjuntos de datos públicamente disponibles con esfuerzos de anotación adicionales para experimentos, y esperamos que compartir nuestra investigación anime a la comunidad más amplia a construir sobre estas ideas y avanzar aún más. Hacia una edición de video por IA más controlable: una primera exploración investigativa en Netflix fue publicada originalmente en Netflix TechBlog en Medium, donde las personas continúan la conversación destacando y respondiendo a esta historia.