Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē

01. Kas bija mašīnas dublāžas kaskādes laikmets?

Mašīnas dublāža sākās kā kaskāde: četri rīki rindā, katrs uzbūvēts un pieskaņots atsevišķi, katrs nodod savu rezultātu nākamajam.

1. 01

   Transkripcija.

   Runas pārveide tekstā pieraksta, kas tika teikts.
2. 02

   Tulkojums.

   Teksta modelis pārtulko transkriptu jaunajā valodā, nedzirdot balsi un neredzot seju.
3. 03

   Balss.

   Teksta pārveide runā nolasa tulkojumu, bieži svešinieka balsī.
4. 04

   Lūpu sinhronizācija.

   Atsevišķs rīks pieskaņo mutes kustības jaunajam audio, kad katrs vārds jau ir fiksēts.

Šī ķēde padarīja mašīnas dublāžu iespējamu. Tās robeža slēpjas pašā uzbūvē: katrs posms min, nezinot par pārējiem. Tulkojums nevar zināt, ka replikai jāiekļaujas aizvērtā mutē. Balss nevar zināt, kurā telpā tā skan. Pārklausīts vārds vai pārāk gara replika tiek nodota tālāk, un kļūda krājas katrā nākamajā posmā.

Gadu gaitā katrs rīks uzlabojās: tīrāks transkripts, precīzāks tulkojums, dabiskāka balss. Gatavais dublējums uzlabojās lēnāk, jo šuves starp rīkiem palika, kur bija.

02. Ar ko pircējs saskaras šodien?

Praksē kaskāde ierodas kā rīku kaudze: transkripts no viena, tulkojums no cita, balss no trešā, lūpu sinhronizācija un subtitri no ceturtā. Vienas replikas labojums nozīmē no jauna palaist visus nākamos posmus, un kāds jūsu komandā tur failus kopā. Rīki, kas kaudzi apiet, maina kvalitāti pret laiku. Asistējošie rīki kvalitāti sasniedz ar VFX mākslinieku komandu sarežģītajos kadros: nedēļas katram projektam, un katra valoda ir jauns projekts. Rīki, kas dublē vienā piegājienā, ir ātri un upurē visu pārējo: balss zaudē līdzību, telpas skaņa pazūd, un lūpas neizdodas, ja sejas priekšā ir roka vai mikrofons, ja kadrs ir izplūdis, ar bokeh, sānskatā vai tajā ir vairāki cilvēki, jo nav telpiskās domāšanas un nav pasaules izpratnes. Familiar ir viens piegājiens un kvalitāte.

Otrs ceļš ir pilna cilvēku dublāža, tulkojums un balss, par $70–150 par gatavu minūti. Izmaksas, cilvēkresursi un laiks to padara nepieejamu lielākajai daļai pasaules: pat lielākie iestudējumi dublē tikai dažās valodās, bet mazāki iestudējumi, šovi un vertikālās drāmas lielākoties nedublē vispār.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Ja apsverat ElevenLabs Dubbing, lūk, viņu dokumentācija citātos blakus mūsu pētījumam:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Kas mainās, kad visus lēmumus pieņem viens modelis?

Familiar dublē ar multimodālu lokalizācijas lēmumu modeli (MLDM). MLDM izlemj, ko lokalizēt un kā, tekstā, audio un attēlā, un lēmumi saskan, jo tos pieņem viens modelis. Definīcija: Pirmais multimodālās tulkošanas pamatmodelis.

Atpakaļ jūs saņemat aktiera paša sniegumu citā valodā: viņa balsi, lūpas, sejas izteiksmes un ainas skaņu, pārnestas kopā. Viena augšupielāde nonāk visās valodās reizē: dublējumi 30 valodās no materiāla jebkurā no 99 avota valodām.

Kopīgi lēmumi maina arī to, kas var noiet greizi. Replika, kas būtu par garu, tiek atveidota tā, lai iekļautos laikā un mutē, pirms top jebkāda balss. Smiekli teikuma vidū paliek smiekli. Kad divi cilvēki runā cits citam pāri, modelis zina, kurš saka kuru repliku, tāpēc kustas pareizās lūpas.

04. Ko tas maina gatavajā dublējumā?

Mēs laižam tos pašus klipus caur abām sistēmām un vērtējam tos vienādi. Katrs skaitlis nāk no sava pētījuma, publicēts lapā salīdzinājumi.

Mērīta tiek arī balss: Familiar skan par 27.8% līdzīgāk īstajam runātājam nekā ElevenLabs Dubbing v1, tuvāk visās 11 valodās, augstāk citētajā pētījumā.

YouTube automātiskās dublēšanas fona skaņas kļūda tās pētījumā bija par 232.6% lielāka. Aina saglabājas, jo MLDM dzird visu celiņā (smieklus, pūli, mūziku), atrod galveno balsi, pārnes to jaunajā valodā runātāja paša balsī un pārējo atstāj, kā bija.

05. Ko nozīmē „vispirms tulkojums, tad dublāža vienā piegājienā”?

++

Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina kopā.

Secībai ir nozīme. Vispirms nāk tulkojums, un jūsu radošie direktori to pārskata: ja repliku var uztvert dažādi, viņi redz atveidojumus ar pamatojumu katram un izvēlas vienu. Tikai tad dublējums top, vienreiz. Nekas jauns netiek izdomāts. Nevis „ģeneratīvais MI”, bet tulkošana, kas dod iespējas radošajiem. MLDM vienmuļajam darbam.

Subtitri ir sagriezti pēc Netflix Timed Text Style Guide konvencijām, subtitru šablonu standarta, pēc kura strādā nozare. Katrs dublējums tiek apstrādāts Familiar pašu desmitiem miljonu dolāru vērtā NVIDIA B300 GPU klasterī Toronto, Kanādā, nekad publiskā mākonī, piemēram, Google Cloud vai AWS, un nekad pie trešās puses secināšanas pakalpojumu sniedzēja. Faili aprakstīti izvades dokumentācijā, apstrāde privātajā secināšanā, bet ko tas nozīmē katalogam: Ko multimodālās tulkošanas pamatmodelis nozīmē studijām un platformām.

06. Kurš pieņem galīgo lēmumu?

1. ŠODIEN

   Jūsu radošie direktori pārskata tulkojuma lēmumus.

   Atveidojumi ar pamatojumu katram; viņi izvēlas vienu, pirms kaut kas tiek publicēts.
2. ŠODIEN

   Saraksts „Netulkot” un viena teikuma konteksts ceļo kopā ar darbu.

3. IZSTRĀDĒ

   Audio un attēla lēmumi tajā pašā pārskatīšanā.

   Kas paliek oriģinālvalodā, cita seja, ja modelis izvēlējies nepareizo runātāju, un teksts kadrā.

Katalogam mainās sasniedzamība. Šovs, kas būtu palicis vienā valodā, var iznākt 30 valodās reizē, ar aktieru pašu sniegumu, bet jūsu komanda joprojām pieņem visus svarīgos lēmumus.

Tie ir saglabātie lēmumi; viss stāsts: Saglabātie lēmumi: kā radošie direktori vada MLDM, bet ko modelis izlemj: Kas ir MLDM. Pētījumi, kas stāv aiz tā: Multimodālās tulkošanas aizsācēji. No cilvēka cilvēkam, sasniedzot arvien plašāku auditoriju.

JAUTĀJUMI