ABSTRAKT
Štyri problémy
Keď sa spýtate, čo robí dabované video dobrým, dostanete dlhý zoznam. Dá sa zhustiť na štyri body:
Ak zlyhajú prvé dve, na ničom ďalšom nezáleží: zle preložená veta alebo počuteľne nesprávny hlas dabing pochovajú samy osebe. Posledné dve rozhodujú o tom, či výsledok pôsobí ako originál, alebo ako dabing.
Prirodzený preklad: nový scenár, nie prevod
Každý jazyk vyjadruje veci po svojom: slovami, idiómami, stavbou vety, oslovením aj tým, čo sa vôbec vysloví. Keď model požiadate, aby „prekladal“, prevedie vety z jazyka A do jazyka B jednu za druhou. Ľudia robia to isté: v úlohe prekladateľa sa práca zúži na prevod viet.
Dabing preložený takto je zrozumiteľný, a predsa zlý.
- Japončina sa vyhýba príliš priamym formuláciám; prirodzenú repliku treba často postaviť nanovo nepriamo, nie ju zjemňovať slovo po slove.
- Kórejčina podmet neustále vynecháva; ak do nej prenesiete anglické zámená v anglickej frekvencii, znie cudzo, aj keď je každé slovo správne.
- Slovosled, štýl, zdvorilostné tvary a to, čo kultúra nechá nevyslovené, sa menia s každým jazykom; preklad nie je dobrý len preto, že prežil doslovný význam.
Slovo „dobre“ sa do kontrolného zoznamu nevtesná, preto cieľ zhusťujeme do jednej vety: dobre odovzdať obsah videa v cieľovom jazyku. A to sa dá zmerať:
kvality expertného ľudského prekladu dosiahol Familiar, hodnotené naslepo voči expertným referenčným úpravám
FRANCÚZŠTINA, ČÍNŠTINA, HINDČINA, INDONÉZŠTINA (PRVÁ VERZIA OD EXPERTNÝCH PROFESIONÁLNYCH PREKLADATEĽOV)menej dôležitých chýb v preklade urobil Familiar na rovnakých klipoch (29 vs 64)
VS ELEVENLABS DUBBING V2 (ALPHA) · 111 PÁROVÝCH DABINGOV · 3 JAZYKYPrirodzený zvuk: ten istý človek v novom jazyku
Výslovnosť je takmer vyriešená. Zaujímavé zlyhania prichádzajú až za ňou:
- Identita: ten istý človek znie ako ten istý človek v každom jazyku.
- Emócia: to, čo hovoriaci cítil, prežije zmenu jazyka.
- Dôraz, tempo, zámer: kam sa veta opiera, ako rýchlo plynie, čo chce dosiahnuť.
Cieľ sa zhustí rovnako ako pri preklade: zvuk sedí k videu. Nie „vygenerovať jazyk B hlasom z jazyka A“. Ten istý prejav v novom jazyku. A scéna je súčasťou zvuku: smiech, hudba, priestor.
viac poškodení zvuku v pozadí pri ElevenLabs (11.92 vs 3.22 dB): hudba, efekty, atmosféra
ŠTÚDIA DUBBING V2 (ALPHA) · ROVNAKÉ KLIPYbližšia podobnosť s hovoriacim pri Familiar (0.461 vs 0.360), bližšie vo všetkých 11 jazykoch
VS ELEVENLABS · ŠTÚDIA DUBBING V1 · 418 PÁROVÝCH DABINGOVEditing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
Text na obrazovke je súčasťou videa
Dnešné video sa opiera o text na obrazovke: popisky, vtipy, memy, jediné slovo načasované na úder. Každý z nich je vizuálna udalosť vo zdrojovom jazyku. Jeho prispôsobenie má dve podmienky:
- Nikdy nepoškodiť video. Artefakty alebo rušivé prvky urobia výsledok horším než originál.
- Nikdy ho neprekladať doslovne. Najprv treba pochopiť, prečo sa tento text objavuje práve v tejto chvíli a na tomto mieste, až potom sa dá prispôsobiť.
Dnes multimodálny rozhodovací model pre lokalizáciu (MLDM) od Familiar, prvý základný model pre multimodálny preklad, nová paradigma, prvý model svojho druhu, prekladá spolu s dabingom aj názvy, popisy a titulky. Na texte v zábere pracujeme: displej telefónu či pouličná tabuľa, napísané v pojmoch, ktoré ste si už zvolili, pričom model priebežne rozhodne, že značka alebo meno zostane tak, ako boli natočené, takže balíček Tostitos zostane Tostitos, a vy vyberiete, ktorý text sa preloží. Pravidlo platí ďalej: ak si úpravu niekto všimne, nie je dosť dobrá.
Synchronizácia pier: úspech znamená, že si ju nikto nevšimne
Synchronizácia pier má tú istú tvrdú podmienku: nikdy nepoškodiť video. Najväčší kompliment, aký si synchronizácia pier v dabingu môže vyslúžiť, je otázka „čo sa zmenilo?“
Ten istý efekt hrá aj v prospech dabingu. Keď ústa sedia, mozog rieši nejasnosti smerom k zhode: výslovnosť znie zreteľnejšie a farba hlasu viac ako ten istý človek.
Ťažké časti: hlasy mimo záberu, hovoriaci, ktorí si skáču do reči, ľudia, ktorí vyzerajú alebo znejú podobne, a úprava úst bez toho, aby sa rozbila tvár. Dajte do záberu dvoch ľudí a dnešné nástroje zosynchronizujú obe ústa naraz.
Pery sú len začiatok. Človek vetu hrá celou tvárou -- očami, obočím, lícami, hlavou -- aj telom: gestami, prikývnutiami, polovicou úderu, keď počúva.
Jeden problém, nie štyri
Každá požiadavka sa zhustila do tej istej vety. Prirodzený preklad: napísať, čo toto video hovorí, v cieľovom jazyku. Prirodzený zvuk: zachovať ten istý prejav v nových slovách. Text na obrazovke: vedieť, prečo tam je, skôr než sa ho dotknete. Synchronizácia pier: upraviť človeka bez toho, aby ste ho rozbili.
Ten istý prejav v inom jazyku.
Presne o tom rozhoduje MLDM, merané na rovnakých klipoch a zverejnené na /benchmark. Každé rozhodnutie sa zaznamená k úlohe a dá sa zmeniť; vaši kreatívni riaditelia dnes vyberajú spomedzi znení prekladu.
ZDROJE
- [1]Benchmark Familiar vs ElevenLabs: kompletné výsledky, intervaly a ukážky na počúvanie
- [2]AI vs ľudský preklad: test proti profesionálom
- [3]AI synchronizácia pier: čo to je, čo jej uniká a čo ju prekonáva
- [4]Prečo dabing v zahraničí nesedí a ako to štúdiá riešia (verzia tohto argumentu pre štúdiá)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
MULTIMODÁLNY PREKLAD
Familiar Labs prináša o generáciu lepší dabing vďaka multimodálnemu rozhodovaciemu modelu pre lokalizáciu (MLDM), prvému základnému modelu pre multimodálny preklad: jeden model rozhoduje, čo lokalizovať v texte, zvuku aj obraze, a ukáže vám možnosti. Váš hlas a vaše pery, prenesené do nových jazykov. Tím 8 ľudí s PhD, s podporou Samsungu, RedBird a Gold House. Naša misia
