Prvý základný model pre multimodálny preklad

01. Čo je základný model pre multimodálny preklad?

Video hovorí viac než svojimi slovami. Hlas hovoriaceho, pohyb jeho úst, smiech v miestnosti aj hudba pod scénou nesú význam. Dobre preložiť video znamená preniesť to všetko a udržať to v súlade: replika sa musí zmestiť do úst, hlas musí sedieť v scéne a človek na obrazovke musí zostať presne taký, aký je.

Základný model pre multimodálny preklad je jeden model, ktorý zvládne celú túto prácu. Zábery vezme ako jeden celok a rozhodne, ako má každá ich časť vyznieť v novom jazyku. Familiar postavil prvý taký model a volá ho MLDM.

02. Prečo dabing doteraz prechádzal samostatnými nástrojmi?

Ľudský dabing bol pre väčšinu sveta vždy nedosiahnuteľný. Aj veľké produkcie dabujú len do niekoľkých jazykov, pre náklady, ľudí a čas; menšie produkcie, seriály a vertikálne drámy nedabujú vôbec. Kompletný ľudský dabing, teda preklad aj hlas, stojí 70 až 150 $ za hotovú minútu.

03. Čo sa zmení, keď všetko prenesie jeden model naraz?

++

Audiovizuálny preklad naraz, nie kaskádovo: prvý svojho druhu.

Prenesie sa výkon toho istého herca: jeho vlastný hlas, pery, ktoré sa hýbu podľa nových slov, jeho mimika aj zvuk scény okolo neho. Smiech, dav aj hudba zostanú tak, ako boli. Na rovnakých klipoch mal YouTube o 232.6% viac chýb vo zvuku v pozadí než Familiar. Pri samotných slovách sa preklad vyrovná prvej verzii expertného profesionála: 100.3% jeho kvality. Kompletné čísla sú v benchmarku.

Mení to aj prácu okolo dabingu. Cesta kvality je dnes asistenčná: tím VFX umelcov pracuje týždne záber po zábere a každý jazyk je nový projekt. Dnešné nástroje na jeden krok sú rýchle a obetujú všetko ostatné: preklad sa nedá upraviť, hudba a atmosféra priestoru zmiznú a pery zlyhajú na bežných záberoch, pri ruke pred tvárou, mikrofóne, rozmazaní, bokehu, pohľade z boku či viacerých ľuďoch v zábere. Žiadne priestorové uvažovanie, žiadne porozumenie svetu. Familiar je jeden krok aj kvalita: jedno nahratie prenesie video do všetkých jazykov, ktoré si vyberiete, naraz, a rozhodnutia k sebe sedia, pretože ich robí jeden model, takže nič netreba ručne zošívať.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. O čom rozhoduje MLDM a čo vyberáte vy?

Multimodálny rozhodovací model pre lokalizáciu je samotný model. MLDM rozhoduje, čo lokalizovať a ako, v texte, zvuku aj obraze. Úplná definícia je v článku Čo je multimodálny rozhodovací model pre lokalizáciu (MLDM)?

1. DNES

   Rozhodnutia o preklade, ktoré kontrolujú vaši kreatívni riaditelia.

   Každé rozhodnutie sa zaznamená k úlohe. Ktorékoľvek z nich môžete zmeniť.
2. PRIPRAVUJEME

   Rozhodnutia o zvuku a obraze na tej istej kontrole.

3. PRIPRAVUJEME

   Text v zábere a dabing naživo.

   Displej telefónu či pouličná tabuľa napísané v pojmoch, ktoré ste si už zvolili; značka alebo meno zostane tak, ako bolo natočené, rozhodnuté priebežne: balíček Tostitos zostane Tostitos.

Záznam týchto volieb je v článku Záznam rozhodnutí: ako kreatívni riaditelia vedú MLDM.

05. Čo štúdio získa zo základného modelu?

MLDM na mravčiu prácu. Tvorivé rozhodnutia zostávajú ľuďom, ktorí dielo vytvorili; model prenesie zvyšok do všetkých jazykov naraz.

Každý dabing sa spracúva na tomto klastri, nikdy u externého poskytovateľa inferencie, takže vaše médiá nikdy neuniknú. Podrobnosti sú v dokumentácii k privátnej inferencii a v dokumentácii k výstupom. Stoja za tým ľudia s PhD, ktorí založili odbor spoločných audiovizuálnych modelov človeka: 22 publikácií, vyše 10,000 citácií, s prof. Xu Zhengom a prof. Youngjungom Uhom ako poradcami, s podporou Samsungu, RedBird a Gold House. Publikácie nájdete v našom výskume.

06. Je základný model pre preklad generatívna AI?

Nie v tradičnom zmysle. IBM definuje generatívnu AI takto:

Je to silný nástroj na tvorbu nových vecí. MLDM nemá žiadny prompt a nič nové sa nevymýšľa: prenesie do iného jazyka to, čo už existuje. Nie „generatívna AI“, ale preklad v službách tvorcov. Od človeka k človeku, k širšiemu publiku.

Ďalšie články tejto série: Audiovizuálny preklad naraz, nie kaskádovo, Čo znamená základný model pre multimodálny preklad pre štúdiá a platformy a Priekopníci multimodálneho prekladu: od spoločného audiovizuálneho výskumu k prvému základnému modelu.

OTÁZKY