Tudastipp.hu

Blogunkon a legújabb trendek, okos megoldások és motiváló írások várnak rád. Böngéssz, tanulj, inspirálódj velünk minden nap!

Hogyan vág videót a mesterséges intelligencia, és hol csúszik el?

Egy ötperces, egyetlen beállításban felvett videóból a gép pár perc alatt kidobja a „hümmögésmentes” változatot, feliratokkal, álló formátumban, telefonra méretezve. Varázslatnak tűnik. Pedig ha szétszeded, néhány jól körülhatárolt trükköt találsz benne, amelyek közül egyik sem érti igazán, miről szól a felvétel.

A videóvágás mesterséges intelligenciával valójában négy-öt külön feladat egymás után. Mindegyiknek megvan a maga logikája, és mindegyik máshol hibázik. Ha ezt tudod, sokkal kevesebb meglepetés ér a kész anyag átnézésekor.

Honnan tudja a gép, hol van vágás a filmben?

Az első lépés sokszor az, hogy a program feldarabolja a meglévő anyagot snittekre. Ezt hívják jelenetváltás-felismerésnek (angolul shot boundary detection), és régebbi feladat, mint gondolnád: a kutatók több mint húsz éve dolgoznak rajta.

A legegyszerűbb módszer meglepően nyers. A gép képkockáról képkockára összehasonlítja a színek eloszlását, és ha egyik pillanatról a másikra nagyot változik, ott vágást gyanít. A Google nyílt forrású, automatikus átméretezésre írt AutoFlip nevű rendszere is így indul: a színhisztogramok hirtelen ugrását figyeli.

A modernebb megoldások neurális hálót használnak. Egy jól ismert példa a cseh kutatók által fejlesztett TransNet V2, amely egyszerre száz egymást követő képkockát elemez, és az éles vágások mellett az áttűnéseket is keresi. A furcsa az, hogy ehhez a videót előbb 48 × 27 pixelesre zsugorítja. Egy bélyegnyi képből is látszik, hogy jelenetet váltott a film, a részletek csak lassítanák a munkát.

És mennyire pontos? A szerzők saját mérése szerint egy BBC-dokumentumfilmekből álló teszten 96,2-es, a jóval vegyesebb, internetes klipekből álló ClipShots gyűjteményen viszont csak 77,9-es F1-értéket ért el (ez a találati pontosság és a teljesség közös mérőszáma, 100 a hibátlan). A szerzők maguk is jelzik, hogy a küszöbértéket a tesztadatokon választották ki, így ezek a számok inkább a felső határt mutatják. A két eredmény közti különbség sokat elárul: a nyugodt, klasszikusan vágott anyag könnyű, a zabolátlan netes videó nehéz.

A tanulmány azt is leírja, mi zavarja meg a modellt: ha a kép hirtelen megváltozik, mert mozdul a kamera, változik a környezet vagy valami beugrik a képbe, az könnyen hamis vágásnak látszik, a hosszú, lassú áttűnés pedig átcsúszhat a szűrőn. A szerzők szavaival a száz százalékos pontosság „elérhetetlen ideál”.

Amikor a szöveget vágod, nem a videót

A legtöbb mai MI-vágóprogram igazi trükkje a beszédfelismerés. A gép leírja, ami elhangzik, a szöveghez időbélyegeket rendel, és onnantól a vágás szövegszerkesztéssé szelídül: kitörölsz egy mondatot az átiratból, és vele együtt eltűnik a hozzá tartozó videórészlet is.

Erre sok helyen az OpenAI nyílt forráskódú Whisper modelljét vagy annak rokonait használják. A Whisperről szóló tanulmány szerint a modellt 680 ezer órányi, interneten talált hanganyagon és a hozzá tartozó átiraton tanították, több nyelven. A legkisebb változata 39 millió, a legnagyobb 1,55 milliárd paraméteres. A fejlesztők szerint a legkisebbnek nagyjából 1 GB videomemória is elég, a legnagyobbnak viszont kb. 10 GB kell.

Egy fontos részlet a tanulmányból: a felismerés minősége nyelvenként nagyon eltér, és erősen függ attól, mennyi tanítóanyag volt az adott nyelvből. Az angolból messze a legtöbb volt, nagyjából 438 ezer óra, magyar beszédből viszont mindössze 379 óra. Ezért egy magyar felvétel átirata általában több javítást kíván, főleg a tulajdonneveknél, a szakszavaknál és a gyors, elharapott beszédnél.

Ehh, ömm, szóval

Ha megvan az időzített átirat, a töltelékszavak és a szünetek kivágása már szinte gyerekjáték. Az Adobe 2023 szeptemberében jelentette be a Premiere Pro tesztváltozatában, hogy a program felismeri az „uh” és „umm” típusú hangokat, és egy kattintással kivághatod mindet, vagy az összes szünetet. Azt is beállíthatod, milyen hosszú csend számítson szünetnek.

Itt jön az első csapda. A gép nem tudja, melyik szünet hatásszünet. Egy jól időzített csend a poén előtt a beszéd része, a program viszont kíméletlenül kivágja, és a végeredmény kapkodó, levegőtlen lesz. Én a tömeges törlés után mindig végighallgatnám a kritikus részeket.

Felirat, ami nem mindig azt írja, amit mondtál

Az automatikus felirat ugyanebből az átiratból készül, csak a szöveget sorokra tördelik és időzítik. A YouTube súgója nyíltan leírja, mi ronthatja a minőséget: a hibás kiejtés, az akcentus, a tájszólás, a háttérzaj, és az, ha többen beszélnek egyszerre. A tanácsuk is egyszerű: nézd át, és javítsd ki.

A legkellemetlenebb hiba viszont nem az elírás, hanem a kitalált szöveg. Amerikai kutatók egy 2024-ben megjelent tanulmányban vizsgálták a Whisper 2023-as átiratait, és az esetek nagyjából 1 százalékában teljes mondatokat találtak, amelyek a felvételen egyáltalán nem hangzottak el. Ezek 38 százaléka ráadásul kifejezetten ártalmas tartalmú volt. A hiba gyakrabban jött elő a hosszú szünetekkel tarkított beszédnél. Ha a feliratod egy csendes részen hirtelen „okosabb” lesz nálad, gyanakodj.

Fekvőből álló: hogyan dönti el a gép, mi maradjon a képben?

A 16:9-es, fekvő videóból 9:16-os, álló változatot csinálni annyit jelent, hogy a kép nagyjából kétharmadát le kell vágni. A kérdés az, melyik részét.

Az AutoFlip leírása elég jól mutatja a gondolkodást. A rendszer embereket, állatokat (reklámoknál akár feliratot és logót) keres a képen, mindegyik fajtának súlyt ad, majd jelenetenként eldönti, hogy álló kivágást, lassú pásztázást vagy követést alkalmaz. A nyers észlelés remeg, ezért a virtuális kamera útját simított görbére igazítja. Ha a fontos dolgok túl messze vannak egymástól, nem erőlteti a szoros kivágást: a kép fölé és alá egyszínű hátteret vagy a kép elmosott változatát teszi.

Az Apple Final Cut Pro Smart Conform funkciója a súgó szerint szintén az arcok és más, vizuálisan érdekes területek alapján igazítja a kivágást, és utólag kézzel tolhatod el a képet.

A tipikus hibák elég kiszámíthatók. Két beszélgetőtárs közül csak az egyik fér be, és a gép nem mindig a beszélőt választja. A képernyő szélére írt szöveg, logó vagy grafika lemarad, ezt az AutoFlip fejlesztői maguk is korlátként említik. A gyorsan mozgó témánál pedig a virtuális kamera lemaradhat vagy idegesen ugrálhat.

Mit csinál a gép, és mire figyelj te?

Feladat Mit csinál a gép Hol hibázhat Mire figyelj
Jelenetváltás keresése Képkockákat hasonlít össze, éles vágást és áttűnést keres Villanásnál, gyors mozgásnál hamis vágást lát, lassú áttűnést kihagy Fényváltós, akciódús részek
Átirat Beszédből szöveget és időbélyeget készít Tulajdonnevek, szakszavak, magyar nyelv Nevek, számok helyesírása
Szünetek, töltelékszavak A csendet és az „ömm”-öket törli A hatásszünetet is kivágja Poénok, hangsúlyos mondatok
Automatikus felirat Az átiratot sorokra tördeli és időzíti Elírás, ritkán kitalált mondat Csendes szakaszok utáni szöveg
Álló formátumra vágás Arcot, témát követ a kivágással Rossz beszélőt követ, levágja a feliratot és a logót Párbeszédek, grafikák a kép szélén

A táblázat utolsó oszlopa a lényeg. Az MI-s vágás nem attól lesz jó, hogy hibátlan a gép, hanem attól, hogy tudod, hol kell utánanézni.

Szóval kell még ember a vágóasztalhoz?

Igen, csak más szerepben. A gép a gépies részt viszi: snittet keres, átírja a szöveget, kivágja a csendet. A döntés viszont, hogy mi a jó ritmus, hol kell levegő, és mi a videó lényege, továbbra is a tiéd. Az „egy gombnyomás, és kész a profi videó” ígéret ugyanolyan túlzás, mint az agyunk 10 százalékáról szóló tévhit: van benne egy morzsányi igazság, a többit a marketing teszi hozzá.

Ha kíváncsi vagy, hogyan néz ki mindez a mindennapi munkában, érdemes elolvasni egy gyakorló videós beszámolóját arról, hogyan vágja a gép a Reels-videóit. Jól látszik belőle, hogy a gyakorlatban is van egy pont, ahol ember hagyja jóvá a gép vágási tervét.

Ha te is kipróbálnád, egy tanács: az első MI-vel vágott videódat ne a gyorsasága alapján ítéld meg. Nézd végig egyszer hang nélkül, csak a feliratokat olvasva, aztán kép nélkül, csak a hangot figyelve. A gép hibái így sokkal hamarabb kibuknak, mint egy átlagos lejátszásnál.

Kép: terydanphiri / Pixabay

Rovat: