Egy ötperces, egyetlen beállításban felvett videóból a gép pár perc alatt kidobja a „hümmögésmentes” változatot, feliratokkal, álló formátumban, telefonra méretezve. Varázslatnak tűnik. Pedig ha szétszeded, néhány jól körülhatárolt trükköt találsz benne, amelyek közül egyik sem érti igazán, miről szól a felvétel.
A videóvágás mesterséges intelligenciával valójában négy-öt külön feladat egymás után. Mindegyiknek megvan a maga logikája, és mindegyik máshol hibázik. Ha ezt tudod, sokkal kevesebb meglepetés ér a kész anyag átnézésekor.
Honnan tudja a gép, hol van vágás a filmben?
Az első lépés sokszor az, hogy a program feldarabolja a meglévő anyagot snittekre. Ezt hívják jelenetváltás-felismerésnek (angolul shot boundary detection), és régebbi feladat, mint gondolnád: a kutatók több mint húsz éve dolgoznak rajta.
A legegyszerűbb módszer meglepően nyers. A gép képkockáról képkockára összehasonlítja a színek eloszlását, és ha egyik pillanatról a másikra nagyot változik, ott vágást gyanít. A Google nyílt forrású, automatikus átméretezésre írt AutoFlip nevű rendszere is így indul: a színhisztogramok hirtelen ugrását figyeli.
A modernebb megoldások neurális hálót használnak. Egy jól ismert példa a cseh kutatók által fejlesztett TransNet V2, amely egyszerre száz egymást követő képkockát elemez, és az éles vágások mellett az áttűnéseket is keresi. A furcsa az, hogy ehhez a videót előbb 48 × 27 pixelesre zsugorítja. Egy bélyegnyi képből is látszik, hogy jelenetet váltott a film, a részletek csak lassítanák a munkát.
És mennyire pontos? A szerzők saját mérése szerint egy BBC-dokumentumfilmekből álló teszten 96,2-es, a jóval vegyesebb, internetes klipekből álló ClipShots gyűjteményen viszont csak 77,9-es F1-értéket ért el (ez a találati pontosság és a teljesség közös mérőszáma, 100 a hibátlan). A szerzők maguk is jelzik, hogy a küszöbértéket a tesztadatokon választották ki, így ezek a számok inkább a felső határt mutatják. A két eredmény közti különbség sokat elárul: a nyugodt, klasszikusan vágott anyag könnyű, a zabolátlan netes videó nehéz.
A tanulmány azt is leírja, mi zavarja meg a modellt: ha a kép hirtelen megváltozik, mert mozdul a kamera, változik a környezet vagy valami beugrik a képbe, az könnyen hamis vágásnak látszik, a hosszú, lassú áttűnés pedig átcsúszhat a szűrőn. A szerzők szavaival a száz százalékos pontosság „elérhetetlen ideál”.
Amikor a szöveget vágod, nem a videót
A legtöbb mai MI-vágóprogram igazi trükkje a beszédfelismerés. A gép leírja, ami elhangzik, a szöveghez időbélyegeket rendel, és onnantól a vágás szövegszerkesztéssé szelídül: kitörölsz egy mondatot az átiratból, és vele együtt eltűnik a hozzá tartozó videórészlet is.
Erre sok helyen az OpenAI nyílt forráskódú Whisper modelljét vagy annak rokonait használják. A Whisperről szóló tanulmány szerint a modellt 680 ezer órányi, interneten talált hanganyagon és a hozzá tartozó átiraton tanították, több nyelven. A legkisebb változata 39 millió, a legnagyobb 1,55 milliárd paraméteres. A fejlesztők szerint a legkisebbnek nagyjából 1 GB videomemória is elég, a legnagyobbnak viszont kb. 10 GB kell.
Egy fontos részlet a tanulmányból: a felismerés minősége nyelvenként nagyon eltér, és erősen függ attól, mennyi tanítóanyag volt az adott nyelvből. Az angolból messze a legtöbb volt, nagyjából 438 ezer óra, magyar beszédből viszont mindössze 379 óra. Ezért egy magyar felvétel átirata általában több javítást kíván, főleg a tulajdonneveknél, a szakszavaknál és a gyors, elharapott beszédnél.
Ehh, ömm, szóval
Ha megvan az időzített átirat, a töltelékszavak és a szünetek kivágása már szinte gyerekjáték. Az Adobe 2023 szeptemberében jelentette be a Premiere Pro tesztváltozatában, hogy a program felismeri az „uh” és „umm” típusú hangokat, és egy kattintással kivághatod mindet, vagy az összes szünetet. Azt is beállíthatod, milyen hosszú csend számítson szünetnek.
Itt jön az első csapda. A gép nem tudja, melyik szünet hatásszünet. Egy jól időzített csend a poén előtt a beszéd része, a program viszont kíméletlenül kivágja, és a végeredmény kapkodó, levegőtlen lesz. Én a tömeges törlés után mindig végighallgatnám a kritikus részeket.
Felirat, ami nem mindig azt írja, amit mondtál
Az automatikus felirat ugyanebből az átiratból készül, csak a szöveget sorokra tördelik és időzítik. A YouTube súgója nyíltan leírja, mi ronthatja a minőséget: a hibás kiejtés, az akcentus, a tájszólás, a háttérzaj, és az, ha többen beszélnek egyszerre. A tanácsuk is egyszerű: nézd át, és javítsd ki.
A legkellemetlenebb hiba viszont nem az elírás, hanem a kitalált szöveg. Amerikai kutatók egy 2024-ben megjelent tanulmányban vizsgálták a Whisper 2023-as átiratait, és az esetek nagyjából 1 százalékában teljes mondatokat találtak, amelyek a felvételen egyáltalán nem hangzottak el. Ezek 38 százaléka ráadásul kifejezetten ártalmas tartalmú volt. A hiba gyakrabban jött elő a hosszú szünetekkel tarkított beszédnél. Ha a feliratod egy csendes részen hirtelen „okosabb” lesz nálad, gyanakodj.
Fekvőből álló: hogyan dönti el a gép, mi maradjon a képben?
A 16:9-es, fekvő videóból 9:16-os, álló változatot csinálni annyit jelent, hogy a kép nagyjából kétharmadát le kell vágni. A kérdés az, melyik részét.
Az AutoFlip leírása elég jól mutatja a gondolkodást. A rendszer embereket, állatokat (reklámoknál akár feliratot és logót) keres a képen, mindegyik fajtának súlyt ad, majd jelenetenként eldönti, hogy álló kivágást, lassú pásztázást vagy követést alkalmaz. A nyers észlelés remeg, ezért a virtuális kamera útját simított görbére igazítja. Ha a fontos dolgok túl messze vannak egymástól, nem erőlteti a szoros kivágást: a kép fölé és alá egyszínű hátteret vagy a kép elmosott változatát teszi.
Az Apple Final Cut Pro Smart Conform funkciója a súgó szerint szintén az arcok és más, vizuálisan érdekes területek alapján igazítja a kivágást, és utólag kézzel tolhatod el a képet.
A tipikus hibák elég kiszámíthatók. Két beszélgetőtárs közül csak az egyik fér be, és a gép nem mindig a beszélőt választja. A képernyő szélére írt szöveg, logó vagy grafika lemarad, ezt az AutoFlip fejlesztői maguk is korlátként említik. A gyorsan mozgó témánál pedig a virtuális kamera lemaradhat vagy idegesen ugrálhat.
Mit csinál a gép, és mire figyelj te?
| Feladat | Mit csinál a gép | Hol hibázhat | Mire figyelj |
|---|---|---|---|
| Jelenetváltás keresése | Képkockákat hasonlít össze, éles vágást és áttűnést keres | Villanásnál, gyors mozgásnál hamis vágást lát, lassú áttűnést kihagy | Fényváltós, akciódús részek |
| Átirat | Beszédből szöveget és időbélyeget készít | Tulajdonnevek, szakszavak, magyar nyelv | Nevek, számok helyesírása |
| Szünetek, töltelékszavak | A csendet és az „ömm”-öket törli | A hatásszünetet is kivágja | Poénok, hangsúlyos mondatok |
| Automatikus felirat | Az átiratot sorokra tördeli és időzíti | Elírás, ritkán kitalált mondat | Csendes szakaszok utáni szöveg |
| Álló formátumra vágás | Arcot, témát követ a kivágással | Rossz beszélőt követ, levágja a feliratot és a logót | Párbeszédek, grafikák a kép szélén |
A táblázat utolsó oszlopa a lényeg. Az MI-s vágás nem attól lesz jó, hogy hibátlan a gép, hanem attól, hogy tudod, hol kell utánanézni.
Szóval kell még ember a vágóasztalhoz?
Igen, csak más szerepben. A gép a gépies részt viszi: snittet keres, átírja a szöveget, kivágja a csendet. A döntés viszont, hogy mi a jó ritmus, hol kell levegő, és mi a videó lényege, továbbra is a tiéd. Az „egy gombnyomás, és kész a profi videó” ígéret ugyanolyan túlzás, mint az agyunk 10 százalékáról szóló tévhit: van benne egy morzsányi igazság, a többit a marketing teszi hozzá.
Ha kíváncsi vagy, hogyan néz ki mindez a mindennapi munkában, érdemes elolvasni egy gyakorló videós beszámolóját arról, hogyan vágja a gép a Reels-videóit. Jól látszik belőle, hogy a gyakorlatban is van egy pont, ahol ember hagyja jóvá a gép vágási tervét.
Ha te is kipróbálnád, egy tanács: az első MI-vel vágott videódat ne a gyorsasága alapján ítéld meg. Nézd végig egyszer hang nélkül, csak a feliratokat olvasva, aztán kép nélkül, csak a hangot figyelve. A gép hibái így sokkal hamarabb kibuknak, mint egy átlagos lejátszásnál.
Kép: terydanphiri / Pixabay
