SAŽETAK
Četiri problema
Pitajte što čini dobru sinkronizaciju i dobit ćete dugačak popis. Svodi se na četiri stavke:
Ako zakažu prve dvije, ništa nakon njih nije važno: krivo preveden redak ili glas koji se čuje da nije pravi sami po sebi ruše sinkronizaciju. O druge dvije ovisi djeluje li rezultat kao izvornik ili kao sinkronizacija.
Prirodan prijevod: novi scenarij, a ne preslikavanje
Svaki jezik stvari izražava na svoj način: riječima, idiomima, građom rečenice, oblicima obraćanja, onim što se uopće izgovori. Zatražite li od modela da „prevede”, on rečenice preslikava jednu na jednu iz jezika A u jezik B. Ljudi rade isto: čim zadatak shvate kao prevođenje, on se svede na pretvaranje rečenica.
Tako prevedena sinkronizacija razumljiva je, ali pogrešna.
- Japanski izbjegava previše izravne formulacije; prirodan redak često treba iznova složiti neizravno, a ne ublažavati riječ po riječ.
- Korejski stalno izostavlja subjekt; prenesete li engleske zamjenice u korejski jednakom učestalošću, tekst zvuči strano čak i kad je svaka riječ točna.
- Red riječi, stil, počasni oblici i ono što neka kultura prešućuje mijenjaju se od jezika do jezika; prijevod nije dobar samo zato što je doslovno značenje preživjelo.
„Dobro” se ne da svesti na kontrolni popis, pa cilj sažimamo u jednu rečenicu: dobro prenijeti sadržaj videa na ciljnom jeziku. To je mjerljivo:
kvalitete stručnog ljudskog prijevoda postiže Familiar, slijepo ocijenjeno prema stručnim referentnim redakturama
FRANCUSKI, KINESKI, HINDSKI, INDONEZIJSKI (PRVI PROLAZ STRUČNIH PROFESIONALNIH PREVODITELJA)manje važnih pogrešaka u prijevodu kod Familiara na istim klipovima (29 naspram 64)
NASPRAM ELEVENLABS DUBBINGA V2 (ALPHA) · 111 UPARENIH SINKRONIZACIJA · 3 JEZIKAPrirodan zvuk: ista osoba, na novom jeziku
Izgovor je gotovo riješen. Zanimljivi neuspjesi dolaze tek nakon njega:
- Identitet: ista osoba i dalje zvuči kao ista osoba, na svakom jeziku.
- Emocija: ono što je govornik osjećao preživi promjenu jezika.
- Naglasak, ritam, namjera: kamo se rečenica naginje, kojom brzinom ide i što pokušava postići.
Cilj se sažima jednako kao i cilj prijevoda: zvuk odgovara videu. Ne „generiraj jezik B glasom iz jezika A”, nego ista izvedba, na novom jeziku. I scena je dio zvuka: smijeh, glazba, prostorija.
više oštećenja pozadinskog zvuka kod ElevenLabsa (11.92 naspram 3.22 dB): glazba, efekti, ambijent
STUDIJA DUBBING V2 (ALPHA) · ISTI KLIPOVIveća sličnost govorniku za Familiar (0.461 naspram 0.360), bliže u svih 11 jezika
NASPRAM ELEVENLABSA · STUDIJA DUBBING V1 · 418 UPARENIH SINKRONIZACIJAEditing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
Tekst na ekranu dio je videa
Današnji video uvelike se oslanja na tekst na ekranu: natpise, šale, memeove, jednu riječ tempiranu na ritam. Svaki je od njih vizualni događaj na izvornom jeziku. Prilagodba ima dva uvjeta:
- Nikad ne oštetiti video. Artefakti ili vizualno ometanje čine rezultat lošijim od izvornika.
- Nikad ga ne prevoditi doslovno. Najprije morate razumjeti zašto se taj tekst pojavljuje baš u tom trenutku i na tom mjestu, a tek ga onda možete prilagoditi.
Familiarov multimodalni model odlučivanja o lokalizaciji (MLDM), prvi temeljni model za multimodalno prevođenje, nova paradigma, prva takve vrste, danas uz sinkronizaciju prevodi naslove, opise i titlove. Tekst u kadru je u izradi: zaslon mobitela ili ulični natpis, napisan izrazima koje ste već odabrali, s brendom ili imenom koji u hodu ostaju kako su snimljeni, pa vrećica čipsa Tostitos ostaje Tostitos, a vi birate koji tekst prevesti. Pravilo vrijedi i dalje: ako se zahvat može primijetiti, nije dovoljno dobar.
Sinkronizacija usana: uspjeh je kad je nitko ne primijeti
Sinkronizacija usana nosi isti strogi uvjet: nikad ne oštetiti video. Najveći kompliment koji sinkronizacija usana može dobiti jest pitanje „što se promijenilo?”
Efekt djeluje i u korist sinkronizacije. Kad se usta poklope, mozak dvosmislenost razrješava u smjeru slaganja: izgovor zvuči jasnije, a boja glasa više kao ista osoba.
Teški dijelovi: glasovi izvan kadra, govornici koji se preklapaju, ljudi koji izgledaju ili zvuče slično te uređivanje usta bez narušavanja lica. Stavite dvoje ljudi u kadar i današnji alati sinkroniziraju oba para usta odjednom.
Usne su tek početak. Osoba rečenicu izvodi cijelim licem -- očima, obrvama, obrazima, glavom -- i tijelom: gestama, kimanjem, polutaktom slušanja.
Jedan problem, a ne četiri
Svaki se zahtjev iznova svodio na istu rečenicu. Prirodan prijevod: napiši ono što ovaj video kaže, na ciljnom jeziku. Prirodan zvuk: zadrži istu izvedbu u novim riječima. Tekst na ekranu: znaj zašto je ondje prije nego što ga dirneš. Sinkronizacija usana: uredi osobu, a da je ne slomiš.
Ista izvedba, na drugom jeziku.
O tome odlučuje MLDM, izmjereno na istim klipovima i objavljeno na /benchmark. Svaka se odluka bilježi uz zadatak i može se promijeniti; danas vaši kreativni direktori biraju između ponuđenih prijevoda.
IZVORI
- [1]Familiar vs ElevenLabs benchmark: svi rezultati, intervali i primjeri za slušanje
- [2]AI ili ljudski prijevod: test naspram profesionalaca (2026.)
- [3]AI sinkronizacija usana: što je, što joj promiče, što je nadmašuje
- [4]Zašto sinkronizacija u inozemstvu ne sjeda i kako to studiji rješavaju (studijska verzija ovog argumenta)
- [5]McGurk i MacDonald, „Hearing lips and seeing voices”, Nature 264 (1976.)
Multimodalno prevođenje
Familiar Labs gradi generacijski bolju sinkronizaciju pomoću multimodalnog modela odlučivanja o lokalizaciji (MLDM), prvog temeljnog modela za multimodalno prevođenje: jedan model odlučuje što lokalizirati u tekstu, zvuku i slici te vam pokazuje izbore. Vaš glas i vaše usne, preneseni u nove jezike. Tim od 8 ljudi s doktoratima, uz podršku Samsunga, RedBirda i Gold Housea. Naša misija
