A Jobban Ellenőrizhető AI Videóvágás Felé: Korai Kutatási Felfedezés a Netflixnél

Zhuoning Yuan, Ta-Ying Cheng, Benjamin Klein, Bahareh Azarnoush Bevezetés A Netflixnél olyan technológiát építünk, amely segít a történetmesélőknek életre kelteni kreatív vízióikat, és segít a tagjainknak felfedezni az általuk szeretett történeteket. A különböző közönségeket világszerte összekapcsolva promóciós anyagokat készítünk, beleértve a trejlereket, teaser videókat és közösségi rövid formátumú videókat, amelyek az eredeti felvételek alapjaira építenek és azokat emelik ki. A promóciós anyagok készítését végző csapatokkal folytatott szoros együttműködés során egy ismétlődő hiányosságot azonosítottunk a jelenlegi eszközökben. A nyers felvételek kifinomult végső anyaggá alakítása gyakran összetett vágásokat igényel, mint például új vizuális elemek zökkenőmentes hozzáadása, háttér javítása vagy cseréje, vagy a nem kívánt objektumok eltávolítása anélkül, hogy megtörnék a jelenet fizikai folytonosságát. Ezek a feladatok általában órákig tartó, speciális kézi szerkesztési munkát igényelnek. Míg a közelmúlt generatív videóvágási modellei ígéretesek, gyakran nem tartják meg az eredeti felvétel integritását. Sok módszer minden egyes pixelt újragenerál a vágás elvégzéséhez, ami nem izolálhatja a változásokat, és véletlenül megváltoztathat olyan elemeket, amelyek érintetlenek maradnának. E feladatok hatékony végrehajtásához a művészeknek olyan eszközökre van szükségük, amelyek lehetővé teszik számukra, hogy pontosan meghatározzák, hogy milyen változásokra van szükség és hogyan változik. Kutatási célunk, hogy megkönnyítsük ezt a folyamatot a művészek számára. Gondosan ügyelünk arra, hol és hogyan alkalmazzuk az AI-t, biztosítva, hogy a technológia mindig a kreatív szándékot szolgálja. Ez az alapelv irányítja a legújabb munkánkat: a generatív AI előnyeinek felfedezése olyan módon, amely védi és bővíti a kreatív választást, és lehetővé teszi a művészek számára, hogy pontosan kontrollálják a végső víziójukat. Az AI videószerkesztés terén elért legutóbbi fejlesztések lenyűgöző képességeket mutattak a komplex kézi szerkesztési munkafolyamatok lefolytatásában, de kulcsfontosságú kihívások maradnak, mielőtt megbízhatóan támogathatnák a professzionális felhasználást: Nem szándékos vágások: Amikor egy adott elemet szerkesztenek egy videoklipben, sok módszer regenerálja az egész videót, ami véletlenül megváltoztathatja az identitást, a teljesítményt és más elemeket, mint a tárgyak, háttér vagy kritikus jelenet részletei. Balra: bemeneti videó. Jobbra: a Ditto kimenete az “a hátteret változtassuk egy kanyargó tengerparti autópályára Kaliforniában” prompt használatával, ami teljesen megváltoztatja a jelenetet. Természetellenes fizika: Az objektumok eltávolításakor sok módszer csak a célt törli, figyelmen kívül hagyva a jelenet fizikai folytonosságát. Ez következetlen mozgást és hihetetlen interakciókat eredményezhet, ami miatt az eredmények természetellenesnek tűnnek. Balra: a zöld maszk jelöli a törlendő célt. Jobbra: a Gen-Omnimatte kimenete, ahol a célt eltávolították, de a jelenet fizikai folytonosságát figyelmen kívül hagyták — a medence úszója nem mozdulhat el, ha nincs interakció vele. Ma két kutatási felfedezést osztunk meg, amelyek célja e kihívások kezelésére irányul. Úgy véljük, hogy ez a munka elősegítheti a terület fejlődését egy olyan módon, ami jelentős és felelős: Vera: egy réteges videó diffúziós modell. Vera csak azt generálja, ami megváltozik, külön edit rétegekként, miközben a videó többi része érintetlen marad, megőrizve az identitásokat, előadásokat és egyéb részleteket az eredeti felvételekből, pontosan úgy, ahogy felvették. VOID: egy videós inpainting modell videós objektum- és interakció eltávolításhoz. A VOID fizikailag valósághű inpaintingen dolgozik komplex jelenetekben: nemcsak eltávolít egy objektumot, hanem újraépíti a jelenetet, mintha az objektum soha nem lett volna ott. E blogbejegyzés mellett nyilvánosan közzétesszük azon kutatási dolgozatokat is, amelyek részletezik a Vera és a VOID algoritmikus újításait. Reméljük, hogy ezek a publikációk lehetővé teszik más kutatók számára, hogy kísérletezzenek ezekkel az ötletekkel, építsenek a megállapításainkra, és tovább fejlesszék a területet. Vera: Egy Réteges Videó Diffúziós Modell A meglévő videószerkesztési modellek regenerálják az egész klipet, összekapcsolva a tervezett vágást az érintetlen területekkel. Ez növeli az eredeti felvételek részleteinek megváltoztatásának kockázatát. E kihívás kezelésére bemutatjuk Verát, egy új, réteges videó diffúziós keretrendszert a tartalom megőrző videószerkesztéshez. Vera esetében a forrásvideó és a szöveges szerkesztési utasítás megadása után Vera közösen generál egy edit réteget és egy alfa maszkot. Ezeket a rétegeket zökkenőmentesen egyesítik az eredeti felvételekkel, hogy elkészítsék a végső szerkesztett eredményt. Tervezett módon a Vera támogatja a komplex feladatokat, mint például objektumok hozzáadása és háttér megváltoztatása, miközben biztosítja, hogy a forrásvideóból származó, szerkesztetlen területek tökéletesen érintetlenül maradjanak. A Vera eddigi különböző adatainkat próbálva a fő kihívásunk a megfelelő kérdőívnyújtás hiánya volt. Mivel egyetlen nyilvános adatbázis sem adja meg a szükséges, magas színvonalú réteges adatokat (tiszta bemenet, alfa maszk, edit réteg, kompozit videó), sajátot építettünk. A meglévő nyílt forráskódú videók és az emberi annotáció kombinációjával létrehoztunk egy réteges videó adathalmozót, összesen 486 ezer kerettel 832×480 felbontásban. Három összetevőre osztottuk a bonyolultság fokozatosan növelésével: Szintetikus kompozitok: Olyan klippek, amelyekben a magas minőségű előtér alfa maszkokat különböző, automatikusan generált háttérre kompozíciózzák. Ez az összetevő erős és megbízható felügyeletet nyújt az alfa maszkolásban az objektumok hozzáadása és háttér megváltoztatása feladatokhoz. Valódi egyobjektumú videók: Valós klippek feldolgozása szegmenselés, maszkolás, háttér inpainting/legenerálás és emberi minőségű szűrés révén. Ez az összetevő növeli a jelenetek sokféleségét és a kameramozgást, javítva a kompozíciós minőséget mindkét feladatban. Valódi többobjektumú videók hatásokkal: Ez kiterjeszti az előző összetevőt az egyes objektumok formázott alfa maszkolással való izolálásával, beleértve az együtt járó hatásokat is, mint például az árnyékokat és visszatükröződéseket. Ez az összetevő javítja a kompozitálást és a szerkesztést összetettebb, dinamikus jelenetekben. Modell architektúra Az adatokon túl a modell tervezése is kulcsfontosságú kihívás. A három célkimenet, amit Vera generál — egy edit réteg (elbontott kreatív vágások), egy alfa maszk réteg (szürkeárnyalatos maszk, amely a vágás tartalmától és a jelenet interakcióitól függ, mint például az elfedések), és egy kompozit réteg (természetes felvétel) — jelentősen eltérő eloszlásokkal bír. A gyakorlatban nehézkesnek bizonyult egyetlen megosztott architektúrával békén tartani ezeket a különbségeket. E problémák orvoslására Vera egy MoT (Mixture-of-Transformers) dizájnt alkalmaz. Egyetlen DiT helyett három külön DiT-et használunk, mindegyik célkimenetre vonatkoztathatóan: Minden DiT a saját QKV vetületeit és FFN súlyait tartja fenn, de összefűzzük a kimeneti tokeneket mindhárom ágból, majd ezek egyik közös önfigyelésen esnek át. Ez lehetővé teszi a rétegek közötti interakciót, miközben mindegyik ágnak specializálódni tud. Mindhárom DiT azonos előképzett T2V alapmodellből indul. Két további patch-beágyazási réteget is hozzáadunk a bemeneti videóhoz és egy opcionális maszkolt videóhoz. A forrásvideó tokenjeit hozzáadjuk a kompozit tokenekhez, míg a maszkolt tokeneket a zajos alfa tokenekhez. Minden réteg azonos RoPE (Rotary Positional Encoding) megosztást használ. Továbbá nullával inicializált tanulható beágyazásokat is hozzáadunk az alfa és kompozit tokenekhez, hogy segítsük a modellt rétegek megkülönböztetésében. Vera architektúrája más módszerekhez képest. Két Vera variánst képeztünk: 1.3B és 14B paraméterrel. Értékelések és Eredmények Vera értékeléséhez összeállítottunk egy benchmarkot a teszt videó-prompt párokból: 72 objektum hozzáadása és 69 háttér változtatása, nyílt forráskódú videókat felhasználva. A tesztkészlet széles nehézség-skálán terjed, beleértve a lassú és gyors mozgásokat, különböző kameramozgásokat, egy- és többobjektumú jeleneteket, valamint egyszerű és komplex jeleneteket. A teljesítményét három kiegészítő dimenzióban értékeltük: Tartalom Megőrzése: Megméri, hogy a célzott vágáson kívüli területek szigorúan érintetlenek maradnak-e, pixel-szinten és percepció alapján. Utasítás Megfelelés: Megméri, mennyire hűen hajtja végre a szerkesztett videó a szöveges promptot. Videó Minőség: Értékeli a végső szerkesztett videó temporális koherenciáját és keretenkénti térbeli minőségét. Az eredményeink szerint mind a Vera-1.3B, mind a Vera-14B jelentősen túlszárnyalta a meglévő alapokat a tartalom megőrzése terén, miközben a videó minősége és az utasítás megfelelés teljesítménye hasonló maradt a legerősebb alapokhoz képest (a teljes eredményekért lásd a dolgozatot). Kvalitatív összehasonlítások Vera és az alapok között (további példákért nézd meg Vera projektweboldalát). Az automatizált mutatók kiegészítéseként emberi preferencia tanulmányt végeztünk, összehasonlítva Verát öt alappal. 19 kreatív bírálóval működtünk együtt, akik összesen 512 videós kísérletet értékeltek. Minden egyes kísérlet során a bírálók véletlenszerűen, egymás mellett láttak összehasonlításokat a Vera modell és egy alapmodell között. Az emberi konszenzus szorosan összhangban állt kvantitatív megállapításainkkal: a Vera-1.3B-t minden alaphoz képest előnyösebbnek találták a tartalom megőrzésében és az utasítás megfelelésében. A bírálók a Vera videó minőségét összehasonlítva hasonlónak értékelték az alapokkal a háttér váltása feladatokban, és valamint észrevették, hogy a Vera nyújtott egyértelmű előnyt az objektum hozzáadása feladatokban. Felhasználói tanulmány a tesztkészleten: Vera-1.3B és öt erős alap. VOID: Videós Objektum- és Interakció Eltávolítása A meglévő videós objektum eltávolító módszerek kiválóan teljesítenek a “tárgy mögötti” tartalom inpaintingjánál és a megjelenés szintű hibák, például árnyékok és visszatükröződést korrekciójánál. Azonban, ha az eltávolított objektumnak jelentősebb interakciói vannak — például más objektumokkal ütközés — a jelenlegi modellek nem sikerülnek orvosolni őket, irreális eredményeket produkálva. E probléma megoldására bemutatjuk a VOID-ot, egy videós objektumeltávolító keretrendszert, amely fizikailag valósághű inpaintinget valósít meg ezekben a komplex helyzetekben. A Kétfázisú Inferencia Pipeline Bemeneti videó esetén a felhasználó rákattint egy eltávolítandó objektumra. A VLM-alapú érvelési pipeline ezután elemzi a jelenetet, hogy azonosítsa azokat a területeket, amelyekre ok-okozati hatással lesz, pl. olyan tárgyakat, amelyek leesnének, ütköznének vagy megváltoztatnák az útvonalukat. Ez a fizikai érvelés egy quadmaskba van kódolva, hogy irányítsa a diffúziós modellt: Első Fázis: A VOID bemenetként veszi a videót és a quadmasks-ot, és generál egy fizikailag valósághű ellenpéldás videót, amelyben az objektumot — és interakcióit — eltávolítják. Második Fázis: A kisebb videó diffúziós modellek néha “objektum átalakulással” szenvednek, amikor mozgó tárgyakat generálnak. Ha a VOID észleli ezt a hibát, kivált egy második fázist, amely újrafuttatja az inferenciát az első fázisból származó flow-warpelt zajjal, stabilizálva az objektum formáját az újonnan szintetizált pályán. A VOID kétfázisú inferencia pipeline-ja. Képzési Adatok A Kubric szimulációs motor és a HUMOTO emberi mozgás rögzítési adatbázis alapján generáltuk a szintetikus ellenpéldás videó párokat, együtt a megfelelő quadmaszkokkal. Különösen az ellenpéldás videók a tényleges jelenetet re-szimulálják az eredeti videóból, de a célobjektumot vagy embert eltávolítva. Ez a re-szimuláció egy alternatív eredményt hoz létre a szigorú fizikai törvények alapján. Például, ha egy embert, aki lámpát tart, eltávolítanak a jelenetből, a szimuláció biztosítja, hogy a lámpa gravitációt követve a földre esse. A quadmaszkok ezután rögzítik az eltávolított objektumot (fekete), az érintett területeket (szürke), a fedéseiket (sötét szürke), és a megváltozatlan részeket a jelenetben (fehér). A VOID adatmotor áttekintése. Modell Képzése A VOID modell képzése során két javítást vezettünk be a korábbi munkákkal szemben: (i) quadmask kondicionálás, amely kifejezetten az egyes keretek azon területeit azonosítja, amelyek megváltozhatnak az objektum eltávolítása után, és (ii) egy második fázisú videó megjelenés finomító, amely csökkenti az ilyen nem kívánt objektum-átalakítást. A VOID végül a CogVideoX-Fun-V1.5–5b-InP gerincmodellre van betanítva a Gen-Omnimatte ellenőrzőpontjával, és interakció-tudatos quadmask kondicionálással a videós inpainting érdekében finomhangolt. Értékelések és Eredmények Kísérletek szintetikus és valós adatokon megmutatták, hogy a VOID sokkal jobban megőrzi a következetes jelenetdinamikát, mint a korábbi videós objektum eltávolító módszerek (teljes eredményekért lásd a dolgozatot). A VOID sikeresen fenntartja az objektum szerkezetét és ésszerű mozgást produkál az idő múlásával széles választékban a valós helyzetekben. Ezzel szemben a nyílt és zárt forráskódú alapok eredményei következetesen fizikailag pontatlan hibákat mutattak. Például az alapok vízpermeteket generálnak emberi hatás nélkül (lásd az alábbi ábra felső sorát), vagy megzavart pörgettyűket mutatnak be, anélkül hogy interakciós kezek lennének jelen. A VOID összehasonlítása más erős alapokkal (további példákért nézd meg a VOID projektweboldalát). Az kvantitatív értékelés kiegészítéseként végrehajtottunk egy felhasználói tanulmányt 25 kreatív bírálóval, hogy mérjük az észlelt realizmust és a fizikai valósághűséget az ellenpéldás vágásainknál. Minden résztvevő véletlenszerűen kapott 5 a 75 valós helyzetről, ez összesen 125 összehasonlítást eredményezett. Minden videón a résztvevők az eredeti bemenetet látták a VOID és hat alap (összesen hét modell) kimeneteivel véletlenszerű sorrendben. A résztvevőknek ki kellett választaniuk azt a videót, amely a legjobban tükrözte, hogyan kellene a jelenetnek valóságosan kinéznie az objektum eltávolítása után, figyelembe véve a vizuális minőséget, az időbeli összhangot, a keverést, a jelenet fejlődésének realizmusát és a hibák hiányát. A VOID-ot 64,8%-ban választották, lényegesen meghaladva az összes alapmodellt. Felhasználói tanulmány valós tesztpéldákon: VOID és hat alap. A Jövőbe Tekintve Az AI alkalmazása olyan módokon, amelyek mind a tagok, mind a kreatorok igényeit szolgálják, középpontjában áll kutatási filozófiánknak, és ezek a projektek ezt a megközelítést tükrözik. Míg a Vera és a VOID ígéretes korai eredményeket mutatnak, a termelésre kész minőség eléréséhez kezelni kell több olyan korlátozást, amivel szembesültünk. Például a Vera néhány összetett hatással, mint a villámlás vagy füst, küzd a korlátozott képzési adatok szerint, és bizonyos esetekben nem tudja teljesen fenntartani a háttér mozgását a bemeneti kameramozgással. A VOID bemutatott általánosítási képességei ellenére még mindig megfigyelünk domain-gátakat. Például nem tud megbirkózni a szokatlan kameranézőpontokkal vagy a céltárgyhoz nagyon közelről rögzített felvételekkel, és jelenleg vannak korlátozások a támogatott videó hosszára és felbontására. Ezek a korlátozások tovább ösztönzik a kutatás ezen irányába történő további befektetéseket. A Vera és a VOID fontos korai erőfeszítések a bonyolult videószerkesztés kontrollálhatóbbá és elérhetőbbé tételére a művészek számára. E munkához nyilvánosan elérhető adatbázisokat használtunk plusz annotációs erőfeszítésekkel a kísérletekhez, és reméljük, hogy a kutatásunk megosztása ösztönzi a szélesebb közösséget, hogy építsenek ezekre az ötletekre és tovább fejlesszék azokat. Az AI videószerkesztés kontrolálhatóbbá tételére: Korai kutatási felfedezés a Netflixnél először a Netflix TechBlogon jelent meg a Mediumon, ahol az emberek tovább folytatják a beszélgetést, kiemelve és reagálva erre a történetre.