Čo je multimodálny rozhodovací model pre lokalizáciu (MLDM)?

FAMILIAR VÝSKUM2026-10-27AKTUALIZOVANÉ 2026-11-01VŠETKY ČLÁNKY

ABSTRAKT

Prvý základný model pre multimodálny preklad, nová paradigma, prvý model svojho druhu. MLDM je jeden model, ktorý rozhoduje, čo lokalizovať a ako, v texte, zvuku aj obraze, a ukáže vám možnosti, na ktorých záleží. Najprv preklad, potom celý dabing v jednom kroku: hlas, pery aj scéna naraz. Rozhodnutia k sebe sedia, pretože ich robí jeden model. Človek sa nikdy nezmení.

PRVÝ ZÁKLADNÝ MODEL PRE MULTIMODÁLNY PREKLADAUDIOVIZUÁLNY PREKLAD NARAZ, NIE KASKÁDOVO

O čom MLDM rozhoduje?

TEXT

Ktoré znenie prenesie repliku do nového jazyka. MLDM zváži niekoľko znení a vyberie najlepšie: vo vtipe, v príbehu či v replike rozhovoru jedno slovo zmení zámer aj emóciu. Tie isté rozhodnutia pokrývajú pojmy, čo neprekladať, slang ponechaný tak, ako zaznel, ponechané meno aj značku, narážku nahradenú takou, ktorú publikum pozná, to, čomu sa daná kultúra vyhýba, a vulgarizmy stlmené pre mladšiu verziu.

ZVUK

Čo vôbec prekladať. MLDM počuje všetko, čo je v stope: smiech, dav, výkrik, rečníka v pozadí, ktorému nikto nerozumie. Nájde hlavný hlas, prenesie ho do nového jazyka vlastným hlasom hovoriaceho a zvyšok nechá tak, ako bol.

OBRAZ

Kto to naozaj hovorí. O zvuku a obraze sa rozhoduje spoločne, takže MLDM vie, kto rozpráva, kto hovorí mimo záberu a čie pery sa majú hýbať. Pery nasledujú nové slová v každej replike; mimika a gestá nasledujú vtedy, keď si to vyžaduje dôraz alebo kultúra.

MOŽNOSTI, KTORÉ VIDÍTE

TEXT

DNESKde sa dá replika vyznieť viacerými spôsobmi, vaši kreatívni riaditelia dostanú znenia aj s odôvodnením každého z nich a jedno vyberú. Podcast, epizóda či film môže takých úsekov obsahovať veľa.

PRIPRAVUJEME

ZVUK

DNES

PRIPRAVUJEMEVýber toho, čo zostane v pôvodnom jazyku. Skandovanie, pokrik či fráza môžu zostať tak, ako zazneli, keď to tak chcete.

OBRAZ

DNES

PRIPRAVUJEMEVýber inej tváre, keď model určil nesprávneho hovoriaceho, a výber textu v zábere, ktorý sa má preložiť. Ten text, displej telefónu, obálka knihy, pouličná tabuľa či výklad obchodu, bude napísaný v pojmoch, ktoré ste si už zvolili; model priebežne rozhodne, čo zostane tak, ako bolo natočené, značka, meno, slang: balíček Tostitos zostane Tostitos.

Prečo jeden model?

REŤAZ NÁSTROJOV

Prevod reči na text, potom preklad, potom hlas, potom synchronizácia pier, každá fáza ladená zvlášť.
Táto reťaz umožnila strojový dabing.
Každá fáza však stále háda bez ostatných, takže chyby sa z fázy na fázu sčítavajú.

JEDEN ZÁKLADNÝ MODEL, PRVÝ SVOJHO DRUHU

MLDM robí rozhodnutia spoločne.
Preklad pozná ústa, do ktorých sa musí zmestiť.
Hlas pozná scénu, v ktorej znie.
Človek sa nikdy nezmení.

Najprv preklad, potom dabing v jednom kroku: hlas, pery aj scéna vyjdú naraz, z tých istých rozhodnutí.

Audiovizuálny preklad naraz, nie kaskádovo: prvý svojho druhu. Práve preto je MLDM prvý základný model pre multimodálny preklad: jeden model, ktorý prenesie slová, hlas, pery aj scénu do nového jazyka naraz. Cesta kvality je dnes asistenčná: tím VFX umelcov a týždne práce na projekt, pričom každý jazyk je nový projekt. Dnešné nástroje na jeden krok sú rýchle a obetujú všetko ostatné. Familiar je jeden krok aj kvalita.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Aký je rozdiel medzi lokalizáciou a prekladom?

Preklad sú slová. Lokalizácia je to, čo z nich potrebuje daná kultúra.

Správne pojmy, slang, mená ponechané tak, ako zazneli, narážka nahradená takou, ktorú publikum pozná, to, čomu sa daná kultúra vyhýba, primeraná miera vulgarizmov. O tom všetkom rozhoduje MLDM a časom aj o obraze, keď sa bude musieť zmeniť.

Je MLDM generatívna AI?

Nie. IBM ju definuje takto:

Generatívna AI, niekedy nazývaná gen AI, je umelá inteligencia (AI), ktorá dokáže na základe promptu alebo požiadavky používateľa vytvárať pôvodný obsah, napríklad text, obrázky, video, zvuk či softvérový kód.

IBM, What is generative AI?

Je to silný nástroj na tvorbu nových vecí. MLDM nemá žiadny prompt a nič nové sa nevymýšľa: rozhoduje, ako lokalizovať to, čo už existuje. Celý postoj nájdete v článkoch Prečo Familiar nie je tradičná generatívna AI a Preklad nie je generovanie.

Komu patria tie rozhodnutia?

Vám. Každé rozhodnutie, ktoré MLDM urobí, sa zaznamená k dabingu, v zázname rozhodnutí.

DNES
Vaši kreatívni riaditelia kontrolujú rozhodnutia o preklade.
Znenia s odôvodnením každého z nich; jedno vyberú skôr, než čokoľvek odíde.
DNES
Zoznam Neprekladať a kontext v jednej vete idú spolu s úlohou.
PRIPRAVUJEME
Rozhodnutia o zvuku a obraze na tej istej kontrole.
PRIPRAVUJEME
Pamäť rozhodnutí.
Zmena zapamätaná pre tvorcu sa pri ďalšom dabingu uplatní ako prvá, takže čo raz zvolíte, prejde aj do ďalšej epizódy.

Celý príbeh je v článku Záznam rozhodnutí: ako kreatívni riaditelia vedú MLDM; plánované API v dokumentácii k rozhodnutiam.

OTÁZKY

Čo znamená skratka MLDM?

MLDM znamená Multimodal Localization Decision Model, po slovensky multimodálny rozhodovací model pre lokalizáciu, nová paradigma, prvý model svojho druhu: jeden model, ktorý rozhoduje, čo lokalizovať a ako, v texte, zvuku aj obraze. Vyberá znenie repliky, čo preložiť vo zvuku, kto na obrazovke hovorí a ako pery, mimika a gestá nasledujú.

Je MLDM videomodel?

Nie v bežnom zmysle. MLDM pracuje so zábermi, ktoré už existujú, a rozhoduje, ako ich lokalizovať: slová, hlas, pery a mimiku. Človek na obrazovke zostáva presne taký, aký je, v každom jazyku.

Vytvára MLDM nové zábery?

Nie. Nie je tu žiadny prompt a nič nové sa nevymýšľa. MLDM rozhoduje, ako lokalizovať to, čo už existuje: herec, načasovanie aj scéna zostávajú, zatiaľ čo slová, hlasová stopa a pery sa prispôsobia novému jazyku.

O čom MLDM rozhoduje vo zvuku?

Čo vôbec prekladať. Nájde hlavný hlas a prenesie ho do nového jazyka vlastným hlasom hovoriaceho. Smiech, dav, výkrik aj rečník v pozadí, ktorému nikto nerozumie, zostanú tak, ako boli.

Mení MLDM mimiku?

Keď si to vyžaduje dôraz alebo kultúra. Pery nasledujú nové slová v každej replike; mimika a gestá nasledujú vtedy, keď replika v novom jazyku vyznie inak. Človek zostáva presne taký, aký je.

Prekladá MLDM text na obrazovke?

Zatiaľ nie. Na texte v zábere, napríklad na displeji telefónu, obálke knihy, pouličnej tabuli či výklade obchodu, práve pracujeme; bude napísaný v pojmoch, ktoré ste si už zvolili, a model priebežne rozhodne, čo zostane tak, ako bolo natočené, značka, meno, slang: balíček Tostitos zostane Tostitos. Dnes sa lokalizujú slová, hlas, pery, mimika a gestá.

Môžem zmeniť rozhodnutie, ktoré model urobil?

Áno. Každé rozhodnutie sa zaznamená k úlohe a môžete ho zmeniť. Vaši kreatívni riaditelia dnes vyberajú spomedzi znení prekladu, každé s odôvodnením, a čo raz zvolíte, prejde aj do ďalšej epizódy.

Ukazuje model svoje rozhodnutia aj vo zvuku a obraze?

Možnosti prekladu vidíte už dnes. Na možnostiach vo zvuku, napríklad čo zostane v pôvodnom jazyku, a v obraze, napríklad výber inej tváre či textu v zábere na preklad, pracujeme.

ZDROJE

MULTIMODÁLNY PREKLAD

Familiar Labs prináša o generáciu lepší dabing vďaka multimodálnemu rozhodovaciemu modelu pre lokalizáciu (MLDM), prvému základnému modelu pre multimodálny preklad: jeden model rozhoduje, čo lokalizovať v texte, zvuku aj obraze, a ukáže vám možnosti. Váš hlas a vaše pery, prenesené do nových jazykov. Tím 8 ľudí s PhD, s podporou Samsungu, RedBird a Gold House. Naša misia

Pozrieť celý benchmark →Ozvite sa tímu