Аудио-визуелни превод одједном, а не каскадно

01. Шта је било доба каскада у машинској синхронизацији?

Машинска синхронизација почела је као каскада: четири алата у низу, сваки направљен и подешен засебно, сваки предаје свој резултат следећем.

1. 01

   Транскрипција.

   Претварање говора у текст записује оно што је речено.
2. 02

   Превод.

   Текстуални модел преводи транскрипт на нови језик, а да не чује глас нити види лице.
3. 03

   Глас.

   Претварање текста у говор чита превод наглас, често туђим гласом.
4. 04

   Синхронизација усана.

   Засебан алат помера уста према новом звуку, тек кад је свака реч већ утврђена.

Тај ланац је омогућио машинску синхронизацију. Његова граница лежи у његовом облику: свака фаза погађа без осталих. Превод не може да зна да реплика мора да стане у затворена уста. Глас не може да зна у каквој се просторији налази. Погрешно чута реч или предуга реплика иде даље низ ланац, а грешка се увећава у свакој следећој фази.

Сваки алат је с годинама постајао бољи: чистији транскрипт, прецизнији превод, природнији глас. Готова синхронизација напредовала је спорије, јер су шавови између алата остајали где су били.

02. На шта купац наилази данас?

У пракси каскада стиже као гомила алата: транскрипт из једног, превод из другог, глас из трећег, синхронизација усана и титлови из четвртог. Исправка једне реплике значи да се свака фаза после ње покреће поново, а неко у вашем тиму држи датотеке на окупу. Алати који прескачу ту гомилу мењају квалитет за време. Помоћни алати достижу квалитет уз тим VFX уметника на тешким кадровима: седмице рада по пројекту, а сваки језик је нови пројекат. Алати у једном пролазу су брзи и жртвују све остало: глас одлута, амбијент просторије нестаје, а усне закажу на руци преко лица, микрофону, замућењу, бокеу, профилу или више људи у кадру, без просторног резоновања и без разумевања света. Familiar је један пролаз и квалитет.

Други пут је комплетна синхронизација коју раде људи, превод и глас, по цени од $70–150 по готовом минуту. Трошкови, људски рад и време чине је недоступном већем делу света: чак и највеће продукције синхронизују тек неколико језика, а мање продукције, серије и вертикалне драме углавном се уопште не синхронизују.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Ако разматрате ElevenLabs Dubbing, ево њихове документације, цитиране, уз нашу студију:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Шта се мења кад један модел доноси сваку одлуку?

Familiar синхронизује помоћу мултимодалног модела одлучивања о локализацији (MLDM). MLDM одлучује шта локализовати и како, у тексту, звуку и слици, а одлуке се слажу јер их доноси један модел. Дефиниција је у тексту Први фундаментални модел за мултимодални превод.

Оно што добијате назад јесте сопствена изведба глумца на другом језику: његов глас, усне, изрази лица и звук сцене, пренети заједно. Једно отпремање излази на сваком језику одједном: синхронизације на 30 језика, из снимака на било ком од 99 изворних језика.

Заједничко одлучивање мења и оно што може да пође наопако. Реплика која би била предуга преводи се тако да стане у време и у уста пре него што настане било какав глас. Смех усред реченице остаје смех. Кад двоје људи говоре једно преко другог, модел зна ко изговара коју реплику, па се померају праве усне.

04. Шта то мења у готовој синхронизацији?

Исте клипове пропуштамо кроз оба система и оцењујемо их на исти начин. Свака цифра потиче из своје студије, објављене на бенчмарку.

Мери се и глас: Familiar звучи 27.8% више као прави говорник него ElevenLabs Dubbing v1, ближе на свих 11 језика, у студији цитираној горе.

YouTube аутоматска синхронизација показала је 232.6% више грешака у позадинском звуку у својој студији. Сцена опстаје јер MLDM чује све у траци, смех, публику, музику, проналази главни глас, преноси га на нови језик сопственим гласом говорника, а остало оставља какво је било.

05. Шта значи „прво превод, а затим синхронизација у једном пролазу“?

++

Прво превод, а затим синхронизација у једном пролазу: глас, усне и сцена заједно.

Редослед је важан. Превод долази први и прегледају га ваши креативни директори: где реплика може да се схвати на више начина, виде варијанте превода са образложењем за сваку и бирају једну. Тек тада настаје синхронизација, једном. Ништа ново се не измишља. Није „генеративни AI“, већ превод у служби стваралаца. MLDM за заморни део посла.

Титлови се секу по конвенцијама Netflix-овог водича Timed Text Style Guide, стандарда за шаблоне титлова по којем ради индустрија. Свака синхронизација се обрађује на Familiar-овом сопственом кластеру NVIDIA B300 GPU-а вредном десетине милиона долара, у Торонту, у Канади, никада у јавном облаку као што су Google Cloud или AWS, нити код спољног добављача услуга инференције. Датотеке су у документацији о излазним датотекама, обрада у приватној инференцији, а шта то значи за каталог у тексту Шта фундаментални модел за мултимодални превод доноси студијима и платформама.

06. Ко доноси коначну одлуку?

1. ДАНАС

   Ваши креативни директори прегледају одлуке о преводу.

   Варијанте превода са образложењем за сваку; бирају једну пре него што било шта изађе.
2. ДАНАС

   Листа Не преводити и контекст у једној реченици иду уз задатак.

3. У ПРИПРЕМИ

   Одлуке о звуку и слици, у истом прегледу.

   Шта остаје на изворном језику, друго лице кад је модел изабрао погрешног говорника и текст у кадру.

За каталог се мења домет. Серија која би остала на једном језику може да изађе на 30 одједном, са сопственим изведбама глумаца, док ваш тим и даље доноси сваку одлуку која је важна.

То је запис одлука; цела прича је у тексту Запис одлука: како креативни директори усмеравају MLDM, а шта модел одлучује у тексту Шта је MLDM. Истраживање иза свега је у тексту Пионири мултимодалног превода. Од човека до човека, за све ширу публику.

ПИТАЊА