VÝSKUM

Priekopníci multimodálneho prekladu: od spoločného audiovizuálneho výskumu k prvému základnému modelu

FAMILIAR VÝSKUMAKTUALIZOVANÉ VŠETKY ČLÁNKY
ČÍTAŤ V JAZYKUEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

ABSTRAKT

Tím, ktorý založil odbor spoločných audiovizuálnych modelov človeka, postavil prvý základný model pre multimodálny preklad. Multimodálny rozhodovací model pre lokalizáciu (MLDM) od Familiar prenesie slová, hlas a pery človeka do 30 jazykov naraz, zo záberov v ktoromkoľvek z 99. Tento článok sleduje líniu od výskumu k modelu: čo tím publikoval, prečo dabing doteraz prechádzal samostatnými nástrojmi, čo je nové, čo vyberáte dnes a na čom pracujeme.
PRVÝ ZÁKLADNÝ MODEL PRE MULTIMODÁLNY PREKLAD

Kto založil spoločné audiovizuálne modely človeka?

Dabing obstojí, len ak hlas a tvár zostanú jedným človekom. Výskumníci Familiar sú ľudia s PhD, ktorí založili odbor spoločných audiovizuálnych modelov človeka: ich publikácia JAM-Flow na ECCV 2026 je prvý spoločný audiovizuálny model človeka, v ktorom sú hlas a tvár hovoriaceho človeka jeden problém.

PUBLIKÁCIE

22

každá je prepojená v prehľade výskumu

RECENZOVANÉ

18

na ICLR, CVPR, ICCV, ECCV, NeurIPS, ICML, ACM Multimedia a WACV

CITÁCIE

Vyše 10,000

výsledok tímu od roku 2021

PORADCOVIA

2

prof. Xu Zheng a prof. Youngjung Uh

Práca pokrýva časti, ktoré multimodálny preklad potrebuje: spoločné audiovizuálne modely človeka, rýchle videomodely, úpravy a multimodálne vnímanie. Každá publikácia a konferencia je v našom prehľade výskumu. Dôvod je osobný: An Zhu Liu, CEO, sa ako dieťa nevedel so spolužiakmi dohovoriť po anglicky a naučil sa ju z televízie, a tento príbeh je na stránke našej misie.

Prečo dabing prechádzal samostatnými nástrojmi?

Pretože každú časť najprv vyriešili samostatne. Strojový dabing prišiel ako reťaz a práve táto reťaz ho vôbec umožnila. Zároveň mu však určila hranicu a nástroje postavené odvtedy stále vymieňajú kvalitu za čas. Asistenčné nástroje dosiahnu kvalitu s tímom VFX umelcov a týždňami práce na projekt, pričom každý jazyk je nový projekt. Nástroje na jeden krok sú rýchle a obetujú všetko ostatné: ich pery zlyhajú pri ruke pred tvárou, mikrofóne, rozmazaní, bokehu, pohľade z boku či viacerých ľuďoch v zábere, bez priestorového uvažovania a bez porozumenia svetu. Familiar je jeden krok aj kvalita.

ÉRA KASKÁD

  • Prepis, potom preklad, potom hlas, potom synchronizácia pier.
  • Každý nástroj háda bez ostatných.
  • Cudzí hlas na tvári, ktorá k nemu už nesedí.

JEDEN ZÁKLADNÝ MODEL

  • Slová, hlas, pery aj scéna, prenesené naraz.
  • Preklad pozná ústa, do ktorých sa musí zmestiť.
  • Hlas pozná scénu, v ktorej znie.
  • Človek sa nikdy nezmení.
++
Familiar je prvý základný model pre multimodálny preklad: jeden model, ktorý prenesie slová, hlas, pery aj scénu do nového jazyka naraz.

Porovnanie krok za krokom je v článku Audiovizuálny preklad naraz, nie kaskádovo; definícia v článku Prvý základný model pre multimodálny preklad.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Čo tu znamená byť priekopníkom?

Audiovizuálny preklad naraz, nie kaskádovo: prvý svojho druhu.

Tri veci, prvýkrát spolu. Prvou je zvuk aj obraz prenesené do nového jazyka naraz, jedným modelom, takže rozhodnutia k sebe sedia: hlas je herca vlastný, pery nasledujú nové slová a smiech, dav aj hudba zostanú tam, kde boli.

Druhou je poradie. Najprv preklad, potom celý dabing v jednom kroku: hlas, pery aj scéna naraz. Slová sú ustálené a skontrolované vašimi kreatívnymi riaditeľmi skôr, než čokoľvek zaznie.

Treťou je záznam. Každé rozhodnutie, ktoré MLDM urobí, sa zaznamená k úlohe a ktorékoľvek z nich môžete zmeniť. Celý opis je v článku Záznam rozhodnutí: ako kreatívni riaditelia vedú MLDM; čo je MLDM, v definičnom článku.

O čom rozhoduje model a čo vyberáte vy?

Výskumný výsledok sa stane produktom vtedy, keď ľudia, ktorí ho používajú, majú veci pod kontrolou. MLDM na mravčiu prácu. Tvorivé rozhodnutia zostávajú vaše.

ROZHODUJE MLDM | VYBERÁTE VY

TEXT
MLDM ROZHODUJEKtoré znenie prenesie každú repliku: pojmy, slang ponechaný tak, ako zaznel, mená a značky, narážku, ktorú publikum pozná.
VY VYBERÁTEDnes: znenie, z možností s odôvodnením každej z nich.
ZVUK
MLDM ROZHODUJEČo vôbec prekladať: hlavný hlas, prenesený vlastným hlasom hovoriaceho; zvyšok ponechaný tak, ako bol.
VY VYBERÁTEPripravujeme: čo zostane v pôvodnom jazyku.
OBRAZ
MLDM ROZHODUJEKto naozaj hovorí a ako pery a mimika nasledujú nové slová.
VY VYBERÁTEPripravujeme: inú tvár, keď model vybral nesprávneho hovoriaceho, a ktorý text v zábere preložiť.

Na čom ešte pracujeme?

Byť priekopníkom znamená prvú verziu, nie poslednú. Voľby prekladu sú otvorené už dnes; zvyšok záznamu sa otvára po krokoch.

  1. DNES

    Vaši kreatívni riaditelia kontrolujú rozhodnutia o preklade.

    Znenia s odôvodnením každého z nich; zoznam Neprekladať a kontext v jednej vete idú spolu s úlohou.
  2. PRIPRAVUJEME

    Rozhodnutia o zvuku a obraze na tej istej kontrole.

  3. PRIPRAVUJEME

    Text v zábere.

    Displej telefónu, obálka knihy, pouličná tabuľa, napísané v pojmoch, ktoré ste si už zvolili; značka alebo meno zostane tak, ako bolo natočené, rozhodnuté priebežne: balíček Tostitos zostane Tostitos.
  4. PRIPRAVUJEME

    Dabing naživo.

Čo to zmení pre ľudí na obrazovke?

Ľudský dabing je pre väčšinu sveta nedosiahnuteľný. Aj veľké produkcie dabujú len do niekoľkých jazykov pre náklady, ľudí a čas, ktorý to zaberie; menšie produkcie, seriály a vertikálne drámy väčšinou nedabujú vôbec. Základný model pre multimodálny preklad dá každej z nich ten istý prejav v inom jazyku: hlas, pery a mimiku herca v 30 jazykoch, dodané až v 4K so skutočným priestorovým mixom 5.1 alebo v stereu v 24-bitovom PCM (výstupy).

Každý dabing sa spracúva na klastri GPU NVIDIA B300 v osemcifernej hodnote v Toronte, na výpočtových kapacitách, ktoré vlastníme, nikdy vo verejnom cloude. Podrobnosti sú v dokumentácii k privátnej inferencii.
PRIVÁTNA INFERENCIA · TORONTO, KANADA

Preklad dosahuje 100.3% kvality expertného ľudského prekladu, teda zhodu; štúdie sú na /benchmark. Nie „generatívna AI“, ale preklad v službách tvorcov. Od človeka k človeku, k širšiemu publiku. Čo to znamená pre katalóg, je v článku pre štúdiá a platformy.

OTÁZKY

Kto postavil základný model Familiar?

Tím 8 ľudí s PhD, ktorí založili odbor spoločných audiovizuálnych modelov človeka: 22 publikácií, z toho 18 recenzovaných, a vyše 10,000 citácií. Poradcami sú prof. Xu Zheng a prof. Youngjung Uh. Familiar podporujú Samsung, RedBird a Gold House.

Čo je základný model pre multimodálny preklad?

Jeden model, ktorý prenesie slová, hlas, pery aj scénu do nového jazyka naraz. Multimodálny rozhodovací model pre lokalizáciu (MLDM) od Familiar je prvý svojho druhu: rozhoduje, čo lokalizovať v texte, zvuku aj obraze, a každé rozhodnutie zaznamená k úlohe.

Čo znamená „nie kaskádovo“?

Strojový dabing kedysi posielal video cez samostatné nástroje: prepis, potom preklad, potom hlas, potom synchronizácia pier, pričom každý hádal bez ostatných. Familiar prenesie zvuk aj obraz do nového jazyka naraz, takže rozhodnutia k sebe sedia a človek sa nikdy nezmení.

Je Familiar generatívna AI?

Nie v tradičnom zmysle. Nie je tu žiadny prompt a nič nové sa nevymýšľa: herec, načasovanie aj scéna zostávajú, zatiaľ čo slová, hlas a pery sa prenesú do nového jazyka. Nie „generatívna AI“, ale preklad v službách tvorcov.

Čo môžem vyberať dnes?

Preklad. Kde sa dá replika vyznieť viacerými spôsobmi, vaši kreatívni riaditelia vidia znenia s odôvodnením každého z nich a jedno vyberú skôr, než čokoľvek zaznie. Na voľbách vo zvuku, v obraze a pri texte v zábere pracujeme.

ZDROJE

  1. [1]JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching (ECCV 2026)
  2. [2]Publikovaný výskum tímu
  3. [3]Multimodálny rozhodovací model pre lokalizáciu (MLDM)
  4. [4]Záznam rozhodnutí
  5. [5]Benchmarky Familiar
  6. [6]Naša misia

MULTIMODÁLNY PREKLAD

Familiar Labs prináša o generáciu lepší dabing vďaka multimodálnemu rozhodovaciemu modelu pre lokalizáciu (MLDM), prvému základnému modelu pre multimodálny preklad: jeden model rozhoduje, čo lokalizovať v texte, zvuku aj obraze, a ukáže vám možnosti. Váš hlas a vaše pery, prenesené do nových jazykov. Tím 8 ľudí s PhD, s podporou Samsungu, RedBird a Gold House. Naša misia

Pozrieť celý benchmark →Ozvite sa tímu