PĒTĪJUMA PIEZĪME

Kas video tulkošanā ir svarīgs

FAMILIAR PĒTNIECĪBAATJAUNINĀTS VISI RAKSTI
LASĪT VALODĀEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

KOPSAVILKUMS

Vai dublējums iztur, izšķir četras lietas: tulkojums skan tā, it kā būtu rakstīts mērķa valodā, audio joprojām skan kā runātājs, teksts kadrā tiek pārnests, un lūpas sakrīt. No pirmajām divām atkarīgs viss pārējais. Visas četras izrādās viena un tā pati problēma: tas pats sniegums citā valodā.

Četras problēmas

Pajautājiet, kas padara dublētu video labu, un saraksts būs garš. Tas saiet četros punktos:

DABISKS TULKOJUMS
KO NOZĪMĒ LABIJauns scenārijs mērķa valodā, kas labi nodod video saturu, nevis teikumu pārnešana pa vienam.
DABISKS AUDIO
KO NOZĪMĒ LABITas pats cilvēks, tā pati emocija, tas pats uzsvars, jaunajā valodā.
TEKSTS KADRĀ
KO NOZĪMĒ LABIPielāgots valodai un brīdim, kurā tas parādās, nesabojājot video.
LŪPU SINHRONIZĀCIJA
KO NOZĪMĒ LABINeredzama. Skatītājs nekad nepamana, ka tā notikusi.

Ja neizdodas pirmās divas, pārējais vairs nav svarīgi: nepareizi pārtulkots teikums vai dzirdami sveša balss dublējumu izgāž pats par sevi. Pēdējās divas izšķir, vai rezultāts šķiet kā oriģināls vai kā dublējums.

Dabisks tulkojums: jauns scenārijs, nevis pārnešana

Katra valoda lietas izsaka savā veidā: vārdi, idiomas, teikuma uzbūve, uzrunas formas, arī tas, ko vispār pasaka. Palūdziet modelim "iztulkot", un tas pārnes teikumus no valodas A valodā B vienu pret vienu. Cilvēki rīkojas tāpat: tiklīdz uzdevums ir "tulkot", tas sarūk līdz teikumu pārveidošanai.

Šādi tulkots dublējums ir saprotams, bet nepareizs.

Skatītājam vajag jaunu scenāriju, rakstītu mērķa valodā, kas labi nodod video saturu.
  • Japāņu valoda parasti izvairās no pārāk tiešiem formulējumiem; dabisku repliku bieži jāpārbūvē netieši, nevis jāmīkstina vārds pa vārdam.
  • Korejiešu valodā teikuma priekšmetu nepārtraukti izlaiž; ja angļu vietniekvārdus ienes korejiešu tekstā ar angļu biežumu, tas skan sveši, pat ja katrs vārds ir pareizs.
  • Vārdu secība, stils, godināmās formas un tas, ko kultūra atstāj nepateiktu, mainās ar katru valodu; tulkojums nav labs tikai tāpēc, ka burtiskā nozīme saglabājusies.

"Labi" nav ieliekams kontrolsarakstā, tāpēc mērķi saīsinām līdz vienam teikumam: labi nodot video saturu mērķa valodā. To var izmērīt:

100.3%

no pieredzējuša profesionāla tulkotāja kvalitātes sasniedz Familiar, vērtējot akli pret ekspertu atsauces labojumiem

FRANČU, ĶĪNIEŠU, HINDI, INDONĒZIEŠU (PIEREDZĒJUŠU PROFESIONĀLU TULKOTĀJU PIRMAIS MELNRAKSTS)
54.7%

mazāk svarīgu tulkojuma kļūdu pieļāva Familiar uz tiem pašiem klipiem (29 pret 64)

PRET ELEVENLABS DUBBING V2 (ALPHA) · 111 PĀRU DUBLĒJUMI · 3 VALODAS

Dabisks audio: tas pats cilvēks jaunā valodā

Izruna ir gandrīz atrisināta. Interesantās kļūdas sākas aiz tās:

  • Identitāte: tas pats cilvēks katrā valodā joprojām skan kā tas pats cilvēks.
  • Emocija: tas, ko runātājs juta, pārdzīvo valodas maiņu.
  • Uzsvars, temps, nodoms: kur teikums sasveras, cik ātri tas virzās, ko tas cenšas panākt.

Mērķis saīsinās tāpat kā tulkojuma mērķis: audio atbilst video. Nevis "radīt valodu B ar valodas A balsi". Tas pats sniegums jaunā valodā. Un aina ir daļa no audio: smiekli, mūzika, telpa.

270%

vairāk fona skaņas kļūdu radīja ElevenLabs (11.92 pret 3.22 dB): mūzika, efekti, atmosfēra

DUBBING V2 (ALPHA) PĒTĪJUMS · TIE PAŠI KLIPI
+27.8%

tuvāka līdzība īstajam runātājam Familiar dublējumā (0.461 pret 0.360), un tā visās 11 valodās

PRET ELEVENLABS · DUBBING V1 PĒTĪJUMS · 418 PĀRU DUBLĒJUMI
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Teksts kadrā ir daļa no video

Mūsdienu video balstās uz tekstu kadrā: paraksti, joki, mēmi, viens vārds, kas iekrīt ritmā. Katrs no tiem ir vizuāls notikums avota valodā. Lai to pielāgotu, jāizpilda divas prasības:

  • Nekad nesabojāt video. Artefakti vai vizuāli traucējumi padara rezultātu sliktāku par oriģinālu.
  • Nekad netulkot burtiski. Vispirms jāsaprot, kāpēc šis teksts parādās tieši šajā brīdī un vietā, un tikai tad to var pielāgot.

Šodien Familiar multimodālais lokalizācijas lēmumu modelis (MLDM), pirmais multimodālās tulkošanas pamatmodelis, jauna paradigma, pirmā savā veidā, tulko nosaukumus, aprakstus un subtitrus kopā ar dublējumu. Teksts kadrā ir izstrādē: telefona ekrāns vai ielas norāde jūsu jau izvēlētajos terminos, zīmols vai īpašvārds uzreiz atstāts, kā nofilmēts, tāpēc Tostitos paciņa paliek Tostitos, un jūs izvēlaties, kuru tekstu tulkot. Noteikums paliek spēkā: ja labojumu var pamanīt, tas nav pietiekami labs.

PIRMAIS MULTIMODĀLĀS TULKOŠANAS PAMATMODELIS

Lūpu sinhronizācija: veiksme ir nepamanīšana

Arī lūpu sinhronizācijai ir tā pati stingrā prasība: nekad nesabojāt video. Augstākais kompliments, ko dublējuma lūpu sinhronizācija var saņemt, ir jautājums "kas mainījās?"

No četrām tā šķiet vismazāk svarīga; gatavajā pieredzē tā ir gandrīz pretēji. Cilvēki klausās ar acīm: to pašu audio dzird kā dažādas skaņas, ja mutes kustības atšķiras; tas ir McGurk efekts. Nesakrītoša mute ir viens no iemesliem, kāpēc dublēts video rada neērtību, ko skatītāji nespēj nosaukt vārdā.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

Efekts strādā arī dublējuma labā. Kad mute sakrīt, smadzenes neskaidrību atrisina par labu saskaņai: izruna šķiet skaidrāka, un tembrs vairāk līdzinās tam pašam cilvēkam.

Grūtākais: balsis aiz kadra, runātāji, kas runā cits citam pāri, cilvēki, kas izskatās vai skan līdzīgi, un mutes labošana, nesabojājot seju. Ielieciet kadrā divus cilvēkus, un mūsdienu rīki sinhronizē abas mutes vienlaikus.

Lūpas ir tikai sākums. Cilvēks teikumu izspēlē ar visu seju -- acīm, uzacīm, vaigiem, galvu -- un ar ķermeni: žestiem, galvas mājienam, klausīšanās pussitienu.

Viena problēma, nevis četras

Katra prasība atkal un atkal saruka līdz tam pašam teikumam. Dabisks tulkojums: uzrakstīt to, ko saka šis video, mērķa valodā. Dabisks audio: saglabāt to pašu sniegumu jaunajos vārdos. Teksts kadrā: zināt, kāpēc tas tur ir, pirms to aiztikt. Lūpu sinhronizācija: labot cilvēku, viņu nesalaužot.

Tas pats sniegums citā valodā.

Tieši to izlemj MLDM, mērīts uz tiem pašiem klipiem un publicēts lapā /benchmark. Katrs lēmums tiek saglabāts kopā ar dublāžas darbu, un to var mainīt; šodien jūsu radošie direktori izvēlas starp tulkojuma atveidojumiem.

ATSAUCES

  1. [1]Familiar pret ElevenLabs salīdzinājums: pilni rezultāti, intervāli un klausāmie piemēri
  2. [2]MI pret cilvēka tulkojumu: pārbaudīts pret profesionāļiem
  3. [3]MI lūpu sinhronizācija: kas tā ir, ko tā palaiž garām, kas to pārspēj
  4. [4]Kāpēc dublējums ārzemēs šķiet nedabisks un kā studijas to labo (šī argumenta studijas versija)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

Multimodālā tulkošana

Familiar Labs veido par paaudzi labāku dublāžu ar multimodālu lokalizācijas lēmumu modeli (MLDM), pirmo multimodālās tulkošanas pamatmodeli: viens modelis izlemj, ko lokalizēt tekstā, audio un attēlā, un parāda jums izvēles. Jūsu balss un lūpas, pārnestas jaunās valodās. 8 cilvēku komanda ar PhD, ko atbalsta Samsung, RedBird un Gold House. Mūsu misija

Skatīt pilno salīdzinājumu →Sazināties ar komandu