Пионири мултимодалног превода: од заједничких аудио-визуелних истраживања до првог фундаменталног модела

01. Ко је започео заједничке аудио-визуелне моделе човека?

Синхронизација издржи само ако глас и лице остану једна особа. Familiar-ови истраживачи су доктори наука који су започели област заједничких аудио-визуелних модела човека: њихов рад JAM-Flow, на конференцији ECCV 2026, први је заједнички аудио-визуелни модел човека, у ком су глас и лице особе која говори један проблем.

Рад покрива делове који су мултимодалном преводу потребни: заједничке аудио-визуелне моделе човека, брзе видео моделе, монтажу и мултимодалну перцепцију. Сваки рад и место објављивања налазе се у нашем прегледу истраживања. Разлог је лични: An Zhu Liu, генерални директор, као дете није могао да говори енглески са друговима из разреда и научио га је гледајући телевизију, а та прича је на страници наше мисије.

02. Зашто је синхронизација ишла кроз засебне алате?

Зато што је сваки део прво решаван засебно. Машинска синхронизација је стигла као ланац и тај ланац ју је уопште омогућио. Он јој је одредио и границу, а алати направљени од тада и даље мењају квалитет за време. Помоћни алати достижу квалитет уз тим VFX уметника и седмице рада по пројекту, са новим пројектом за сваки језик. Алати у једном пролазу су брзи и жртвују све остало: њихове усне закажу на руци преко лица, микрофону, замућењу, бокеу, профилу или више људи у кадру, без просторног резоновања и без разумевања света. Familiar је један пролаз и квалитет.

++

Familiar је први фундаментални модел за мултимодални превод: један модел који речи, глас, усне и сцену преноси на нови језик, све одједном.

Поређење корак по корак је у тексту Аудио-визуелни превод одједном, а не каскадно; дефиниција је у тексту Први фундаментални модел за мултимодални превод.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Шта овде значи бити пионир?

Три ствари, први пут заједно. Прва је да се звук и слика преносе на нови језик одједном, једним моделом, па се одлуке слажу: глас је глумчев, усне прате нове речи, а смех, публика и музика остају где су били.

Друга је редослед. Прво превод, а затим синхронизација у једном пролазу: глас, усне и сцена заједно. Речи се утврђују, а прегледају их ваши креативни директори, пре него што се било шта озвучи.

Трећа је запис. Свака одлука коју MLDM донесе бележи се уз задатак и сваку од њих можете преиначити. Цео приказ је у тексту Запис одлука: како креативни директори усмеравају MLDM; шта је MLDM, у раду са дефиницијом.

04. О чему модел одлучује, а шта бирате ви?

Истраживачки резултат постаје производ кад људи који га користе задрже контролу. MLDM за заморни део посла. Креативне одлуке остају ваше.

05. Шта је још у припреми?

Бити пионир значи прву верзију, а не последњу. Избори у преводу отворени су већ данас; остатак записа отвара се корак по корак.

1. ДАНАС

   Ваши креативни директори прегледају одлуке о преводу.

   Варијанте превода са образложењем за сваку; листа Не преводити и контекст у једној реченици иду уз задатак.
2. У ПРИПРЕМИ

   Одлуке о звуку и слици, у истом прегледу.

3. У ПРИПРЕМИ

   Текст у кадру.

   Екран телефона, корице књиге, улична табла, исписани терминима које сте већ изабрали; бренд или име остају онакви какви су снимљени, о чему модел одлучује у ходу: кесица Tostitos остаје Tostitos.
4. У ПРИПРЕМИ

   Синхронизација уживо.

06. Шта то мења за људе на екрану?

Синхронизација коју раде људи недоступна је већем делу света. Чак и највеће продукције синхронизују тек неколико језика, због трошкова, људи и времена које захтева; мање продукције, серије и вертикалне драме углавном се уопште не синхронизују. Фундаментални модел за мултимодални превод свакоме од њих даје исту изведбу на другом језику: глас, усне и изразе лица глумца на 30 језика, испоручено до 4K, са правим 5.1 сараунд или стерео миксом у 24-битном PCM-у (излазне датотеке).

Превод достиже 100.3% квалитета стручног људског превода, што је изједначење; студије су на /benchmark. Није „генеративни AI“, већ превод у служби стваралаца. Од човека до човека, за све ширу публику. Шта то значи за каталог, објашњава рад за студије и платформе.

ПИТАЊА