Audiovizualno prevođenje odjednom, a ne kaskadno

01. Kakvo je bilo kaskadno doba strojne sinkronizacije?

Strojna sinkronizacija počela je kao kaskada: četiri alata u nizu, svaki napravljen i podešen zasebno, a svaki svoj rezultat predaje sljedećem.

1. 01

   Transkripcija.

   Pretvaranje govora u tekst zapisuje ono što je rečeno.
2. 02

   Prijevod.

   Tekstualni model prevodi transkript na novi jezik, a da ne čuje glas niti vidi lice.
3. 03

   Glas.

   Pretvaranje teksta u govor naglas čita prijevod, često tuđim glasom.
4. 04

   Sinkronizacija usana.

   Zaseban alat pomiče usta prema novom zvuku, nakon što je svaka riječ već zadana.

Taj je lanac omogućio strojnu sinkronizaciju. Njegovo je ograničenje u samom obliku: svaka faza nagađa bez ostalih. Prijevod ne može znati da redak mora sjesti u zatvorena usta. Glas ne može znati u kojoj se prostoriji nalazi. Krivo čuta riječ ili predug redak prenose se dalje, a pogreška se gomila u svakoj sljedećoj fazi.

Svaki je alat s godinama postajao bolji: čišći transkript, oštriji prijevod, prirodniji glas. Gotova sinkronizacija napredovala je sporije, jer su šavovi između alata ostali gdje su bili.

02. Na što kupac danas nailazi?

U praksi kaskada stiže kao hrpa alata: transkript iz jednog, prijevod iz drugog, glas iz trećeg, sinkronizacija usana i titlovi iz četvrtog. Ispravak jednog retka znači ponovno pokretanje svake faze nakon njega, a netko u vašem timu drži datoteke na okupu. Alati koji preskaču tu hrpu mijenjaju kvalitetu za vrijeme. Pomoćni alati do kvalitete dolaze uz tim VFX umjetnika na teškim kadrovima: tjedni po projektu, a svaki je jezik novi projekt. Alati koji rade u jednom prolazu brzi su, ali se odriču svega ostalog: glas odstupa od govornika, ambijent prostorije nestaje, a usne zakažu uz ruku preko lica, mikrofon, zamućenje, bokeh, bočni kadar ili više ljudi u kadru, bez prostornog zaključivanja i bez razumijevanja svijeta. Familiar radi u jednom prolazu i donosi kvalitetu.

Drugi je put potpuna ljudska sinkronizacija, prijevod i glas, po cijeni od $70–150 po gotovoj minuti. Trošak, potrebni ljudi i vrijeme čine je nedostižnom za većinu svijeta: čak i vrhunske produkcije sinkroniziraju na tek nekoliko jezika, a manje produkcije, serije i vertikalne drame uglavnom se uopće ne sinkroniziraju.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Ako razmatrate ElevenLabs Dubbing, ovo je njihova dokumentacija, citirana, uz našu studiju:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Što se mijenja kad jedan model donosi sve odluke?

Familiar sinkronizira multimodalnim modelom odlučivanja o lokalizaciji (MLDM). MLDM odlučuje što lokalizirati i kako, u tekstu, zvuku i slici, a odluke se slažu jer ih donosi jedan model. Definicija je u tekstu Prvi temeljni model za multimodalno prevođenje.

Natrag dobivate glumčevu vlastitu izvedbu na drugom jeziku: njegov glas, usne, izraze lica i zvuk scene, prenesene zajedno. Jedan prijenos izlazi na svim jezicima odjednom: sinkronizacija na 30 jezika, iz snimke na bilo kojem od 99 izvornih jezika.

Zajedničko odlučivanje mijenja i ono što može poći po zlu. Redak koji bi bio predug prevodi se tako da stane u vrijeme i u usta prije nego što ijedan glas nastane. Smijeh usred rečenice ostaje smijeh. Kad dvoje ljudi govori jedno preko drugoga, model zna tko izgovara koji redak, pa se miču prave usne.

04. Što to mijenja u gotovoj sinkronizaciji?

Iste klipove provlačimo kroz oba sustava i ocjenjujemo ih na isti način. Svaka brojka potječe iz vlastite studije, objavljene na benchmarku.

Mjeri se i glas: Familiar zvuči 27.8% sličnije pravom govorniku nego ElevenLabs Dubbing v1, bliže u svih 11 jezika, u studiji citiranoj gore.

YouTubeova automatska sinkronizacija u vlastitoj je studiji imala 232.6% više pogrešaka u pozadinskom zvuku. Scena preživi jer MLDM čuje sve u zvučnom zapisu, smijeh, žamor publike, glazbu, pronalazi glavni glas, prenosi ga u novi jezik govornikovim vlastitim glasom, a ostatak ostavlja kakav je bio.

05. Što znači „najprije prijevod, a zatim sinkronizacija u jednom prolazu”?

++

Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena zajedno.

Redoslijed je važan. Prijevod dolazi prvi i pregledavaju ga vaši kreativni direktori: kad se redak može shvatiti na više načina, vide ponuđene prijevode s obrazloženjem za svaki i biraju jedan. Tek tada sinkronizacija nastaje, jednom. Ništa novo se ne izmišlja. Ne „generativni AI“, nego prijevod u službi kreativaca. MLDM za zamorni dio posla.

Titlovi su u skladu s konvencijama Netflixova vodiča Timed Text Style Guide, predloška za titlove po kojem radi cijela industrija. Svaka se sinkronizacija obrađuje na Familiarovu vlastitom klasteru GPU-a NVIDIA B300 vrijednom desetke milijuna dolara, u Torontu u Kanadi, nikad u javnom oblaku poput Google Clouda ili AWS-a i nikad kod vanjskog pružatelja usluga obrade. Datoteke su opisane u dokumentaciji o izlaznim datotekama, obrada u privatnoj obradi, a što to znači za katalog u tekstu Što temeljni model za multimodalno prevođenje znači za studije i platforme.

06. Tko donosi konačnu odluku?

1. DANAS

   Vaši kreativni direktori pregledavaju odluke o prijevodu.

   Ponuđene prijevode s obrazloženjem za svaki; biraju jedan prije nego što išta izađe.
2. DANAS

   Popis Ne prevoditi i kontekst u jednoj rečenici putuju sa zadatkom.

3. U IZRADI

   Odluke o zvuku i slici, u istom pregledu.

   Što ostaje na izvornom jeziku, drugo lice kad je model izabrao pogrešnog govornika i tekst u kadru.

Za katalog se mijenja doseg. Serija koja bi ostala na jednom jeziku može izaći na 30 odjednom, s izvornim izvedbama glumaca, a vaš tim i dalje donosi svaku odluku koja je važna.

To je zapis odluka; cijela priča je u tekstu Zapis odluka: kako kreativni direktori usmjeravaju MLDM, a o čemu model odlučuje u tekstu Što je MLDM. Istraživanje iza svega opisano je u tekstu Pionirski rad u multimodalnom prevođenju. Od čovjeka do čovjeka, za sve širu publiku.

PITANJA