Шта је мултимодални модел одлучивања о локализацији (MLDM)?

FAMILIAR ИСТРАЖИВАЊА2026-10-27АЖУРИРАНО 2026-11-01СВИ ЧЛАНЦИ

САЖЕТАК

Први фундаментални модел за мултимодални превод, нова парадигма, прва те врсте. MLDM је један модел који одлучује шта локализовати и како, у тексту, звуку и слици, и показује вам изборе који су важни. Прво превод, а затим синхронизација у једном пролазу: глас, усне и сцена заједно. Одлуке се слажу јер их доноси један модел. Особа увек остаје иста.

ПРВИ ФУНДАМЕНТАЛНИ МОДЕЛ ЗА МУЛТИМОДАЛНИ ПРЕВОДАУДИО-ВИЗУЕЛНИ ПРЕВОД ОДЈЕДНОМ, А НЕ КАСКАДНО

О чему MLDM одлучује?

ТЕКСТ

Која варијанта превода преноси реплику на нови језик. MLDM одмерава неколико превода и бира најбољи: у шали, причи или реплици у разговору једна реч мења намеру и емоцију. Исте одлуке обухватају термине, шта не преводити, сленг задржан онако како је изговорен, име и бренд задржани, референцу замењену оном коју публика познаје, оно што та култура избегава и псовке ублажене за верзију за млађу публику.

ЗВУК

Шта уопште превести. MLDM чује све у траци: смех, публику, повик, говорника у позадини кога нико не може да разабере. Проналази главни глас, преноси га на нови језик сопственим гласом говорника, а остало оставља какво је било.

СЛИКА

Ко заиста говори. О звуку и слици се одлучује заједно, па MLDM зна ко је наратор, ко говори ван кадра и чије усне треба да се померају. Усне прате нове речи у свакој реплици; изрази лица и гестови прате их када то нагласак или култура захтева.

ИЗБОРИ КОЈЕ ВИДИТЕ

ТЕКСТ

ДАНАСГде реплика може да се схвати на више начина, ваши креативни директори добијају варијанте превода са образложењем за сваку и бирају једну. Подкаст, епизода или филм могу имати много таквих сегмената.

У ПРИПРЕМИ

ЗВУК

ДАНАС

У ПРИПРЕМИИзбор онога што остаје на изворном језику. Скандирање, узвик или фраза могу да остану онакви какви су изговорени кад то желите.

СЛИКА

ДАНАС

У ПРИПРЕМИИзбор другог лица кад је модел изабрао погрешног говорника и избор текста у кадру који треба превести. Тај текст (екран телефона, корице књиге, улична табла, излог) биће исписан терминима које сте већ изабрали; модел у ходу одлучује шта остаје онако како је снимљено: бренд, име, сленг; кесица Tostitos остаје Tostitos.

Зашто један модел?

ЛАНАЦ АЛАТА

Претварање говора у текст, па превод, па глас, па синхронизација усана, а свака фаза подешена засебно.
Тај ланац је омогућио машинску синхронизацију.
Свака фаза и даље погађа без осталих, па се грешке гомилају од фазе до фазе.

ЈЕДАН ФУНДАМЕНТАЛНИ МОДЕЛ, ПРВИ ТЕ ВРСТЕ

MLDM доноси одлуке заједно.
Превод зна уста у која мора да стане.
Глас зна сцену у којој се налази.
Особа увек остаје иста.

Прво превод, а затим синхронизација у једном пролазу: глас, усне и сцена излазе заједно, из истих одлука.

Аудио-визуелни превод одједном, а не каскадно: први те врсте. Због тога је MLDM први фундаментални модел за мултимодални превод: један модел који речи, глас, усне и сцену преноси на нови језик, све одједном. Пут до високог квалитета данас је помоћни: тим VFX уметника и седмице рада по пројекту, а сваки језик је нови пројекат. Данашњи алати у једном пролазу су брзи и жртвују све остало. Familiar је један пролаз и квалитет.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Која је разлика између локализације и превода?

Превод су речи. Локализација је оно што култури од њих треба.

Прави термини, сленг, имена задржана онако како су изговорена, референца замењена оном коју публика познаје, оно што та култура избегава, ниво псовки који јој одговара. MLDM одлучује о свему томе, а с временом и о слици, кад мора да се промени.

Да ли је MLDM генеративни AI?

Не. IBM га овако дефинише:

Генеративни AI, који се понекад назива и gen AI, јесте вештачка интелигенција (AI) која може да ствара оригиналан садржај, као што су текст, слике, видео, звук или софтверски код, као одговор на упит или захтев корисника.

IBM, What is generative AI?

То је моћан алат за прављење нових ствари. MLDM нема упит и ништа ново се не измишља: одлучује како да локализује оно што већ постоји. Цео став је у текстовима Зашто Familiar није традиционални генеративни AI и Превод није генерисање.

Чије су то одлуке?

Ваше. Свака одлука коју MLDM донесе бележи се уз синхронизацију, у запису одлука.

ДАНАС
Ваши креативни директори прегледају одлуке о преводу.
Варијанте превода са образложењем за сваку; бирају једну пре него што било шта изађе.
ДАНАС
Листа Не преводити и контекст у једној реченици иду уз задатак.
У ПРИПРЕМИ
Одлуке о звуку и слици, у истом прегледу.
У ПРИПРЕМИ
Памћење одлука.
Измена запамћена за креатора примењује се прва на следећој синхронизацији, па избор донет једном прати и следећу епизоду.

Цела прича је у тексту Запис одлука; планирани API је у документацији о одлукама.

ПИТАЊА

Шта значи MLDM?

MLDM значи мултимодални модел одлучивања о локализацији (Multimodal Localization Decision Model), нова парадигма, прва те врсте: један модел који одлучује шта локализовати и како, у тексту, звуку и слици. Бира варијанту превода реплике, шта превести у звуку, ко на екрану говори и како га прате усне, изрази лица и гестови.

Да ли је MLDM видео модел?

Не у уобичајеном смислу. MLDM ради на снимку који већ постоји и одлучује како да га локализује: речи, глас, усне и изразе лица. Особа на екрану остаје тачно оно што јесте, на сваком језику.

Да ли MLDM прави нове снимке?

Не. Нема упита и ништа ново се не измишља. MLDM одлучује како да локализује оно што већ постоји: глумац, тајминг и сцена остају, а речи, гласовна трака и усне се мењају да одговарају новом језику.

О чему MLDM одлучује у звуку?

Шта уопште превести. Проналази главни глас и преноси га на нови језик сопственим гласом говорника. Смех, публика, повик и говорник у позадини кога нико не може да разабере остају какви су били.

Да ли MLDM мења изразе лица?

Када то нагласак или култура захтева. Усне прате нове речи у свакој реплици; изрази лица и гестови их прате кад реплика на новом језику другачије делује. Особа остаје тачно оно што јесте.

Да ли MLDM преводи текст на екрану?

Још не. Текст у кадру, као што су екран телефона, корице књиге, улична табла или излог, управо се уводи, исписан терминима које сте већ изабрали; модел у ходу одлучује шта остаје онако како је снимљено: бренд, име, сленг; кесица Tostitos остаје Tostitos. Данас се локализују речи, глас, усне, изрази лица и гестови.

Могу ли да променим одлуку коју је модел донео?

Да. Свака одлука се бележи уз задатак и можете је преиначити. Ваши креативни директори данас бирају међу варијантама превода, свака са образложењем, а избор донет једном прати и следећу епизоду.

Да ли модел показује своје изборе у звуку и слици?

Избори у преводу се приказују већ данас. Избори у звуку, као што је шта остаје на изворном језику, и избори у слици, као што је избор другог лица или текста у кадру који треба превести, су у припреми.

ИЗВОРИ

Мултимодални превод

Familiar Labs развија генерацијски бољу синхронизацију помоћу мултимодалног модела одлучивања о локализацији (MLDM), првог фундаменталног модела за мултимодални превод: један модел одлучује шта локализовати у тексту, звуку и слици и показује вам изборе. Ваш глас и ваше усне, пренети на нове језике. Тим од 8 са докторима наука. Подржавају их Samsung, RedBird и Gold House. Наша мисија

Погледајте цео бенчмарк →Разговарајте са тимом