TYRIMO PASTABA

Kas iš tikrųjų svarbu verčiant vaizdo įrašus

FAMILIAR TYRIMAIATNAUJINTA VISI STRAIPSNIAI
SKAITYTI KITA KALBAEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SANTRAUKA

Ar dubliažas pavyko, lemia keturi dalykai: vertimas skamba taip, lyg būtų parašytas tiksline kalba, garsas tebeskamba kaip pats kalbėtojas, tekstas ekrane perkeliamas, o lūpos sutampa. Pirmieji du lemia visa kita. Galiausiai visi keturi pasirodo esą ta pati problema: tas pats atlikimas kita kalba.

Keturios problemos

Paklauskite, kas daro dubliuotą vaizdo įrašą gerą, ir gausite ilgą sąrašą. Jis susiaurėja iki keturių punktų:

NATŪRALUS VERTIMAS
KAS LAIKOMA GERU REZULTATUNaujas scenarijus tiksline kalba, gerai perteikiantis vaizdo įrašą, o ne sakinys į sakinį perkeltas tekstas.
NATŪRALUS GARSAS
KAS LAIKOMA GERU REZULTATUTas pats žmogus, tos pačios emocijos, tie patys akcentai, tik nauja kalba.
TEKSTAS EKRANE
KAS LAIKOMA GERU REZULTATUPritaikytas kalbai ir akimirkai, kurioje pasirodo, nepažeidžiant vaizdo.
LŪPŲ SINCHRONIZAVIMAS
KAS LAIKOMA GERU REZULTATUNematomas. Žiūrovas net nepastebi, kad jis įvyko.

Jei nepavyksta pirmųjų dviejų, visa kita nebesvarbu: vienas klaidingai išverstas sakinys ar aiškiai ne tas balsas sužlugdo dubliažą savaime. Paskutiniai du lemia, ar rezultatas atrodys kaip originalas, ar kaip dubliažas.

Natūralus vertimas: naujas scenarijus, o ne atitikmenų paieška

Kiekviena kalba reiškia mintis savaip: žodžiais, idiomomis, sakinio sandara, kreipiniais, net tuo, kas apskritai pasakoma. Paprašykite modelio „išversti“, ir jis sakinius iš kalbos A į kalbą B perkels vieną į vieną. Žmonės elgiasi taip pat: kai užduotis įvardijama kaip vertimas, ji susiaurėja iki sakinių konvertavimo.

Taip išverstas dubliažas suprantamas, bet neteisingas.

Žiūrovui reikia naujo scenarijaus, parašyto tiksline kalba, kuris gerai perteiktų vaizdo įrašo turinį.
  • Japonų kalba linkusi vengti pernelyg tiesių formuluočių; natūralią eilutę dažnai tenka perkurti netiesiogiai, o ne švelninti žodis po žodžio.
  • Korėjiečių kalba nuolat praleidžia veiksnį; perkėlus angliškus įvardžius į korėjiečių kalbą tokiu pat dažnumu kaip anglų, tekstas skamba svetimai, net jei kiekvienas žodis teisingas.
  • Žodžių tvarka, stilius, mandagumo formos ir tai, ką kultūra palieka nepasakyta, keičiasi su kiekviena kalba; vertimas nėra geras vien todėl, kad išliko pažodinė prasmė.

„Gerai“ nesutalpinamas į kontrolinį sąrašą, todėl tikslą suspaudžiame į vieną sakinį: gerai perteikti vaizdo įrašo turinį tiksline kalba. Tai galima išmatuoti:

100.3%

ekspertų žmonių vertimo kokybės pasiekia „Familiar“, vertinant aklai pagal ekspertų pataisytus etalonus

PRANCŪZŲ, KINŲ, HINDI, INDONEZIEČIŲ (PIRMOJI PROFESIONALIŲ VERTĖJŲ EKSPERTŲ VERSIJA)
54.7%

mažiau svarbių „Familiar“ vertimo klaidų tuose pačiuose klipuose (29 vs 64)

PALYGINTI SU ELEVENLABS DUBBING V2 (ALPHA) · 111 SUPORUOTŲ DUBLIAŽŲ · 3 KALBOS

Natūralus garsas: tas pats žmogus, nauja kalba

Tarimas beveik išspręstas. Įdomiausios nesėkmės slypi toliau:

  • Tapatybė: tas pats žmogus ir toliau skamba kaip tas pats žmogus, bet kuria kalba.
  • Emocija: tai, ką kalbėtojas jautė, išlieka pasikeitus kalbai.
  • Akcentai, tempas, ketinimas: kur sakinys krypsta, kaip greitai juda, ko jis siekia.

Tikslas susiaurėja taip pat, kaip ir vertimo atveju: garsas atitinka vaizdą. Ne „sukurti kalbą B balsu iš kalbos A“. Tas pats atlikimas nauja kalba. Ir scena yra garso dalis: juokas, muzika, patalpa.

270%

daugiau „ElevenLabs“ padarytos fono garso žalos (11.92 vs 3.22 dB): muzika, efektai, aplinkos garsai

DUBBING V2 (ALPHA) TYRIMAS · TIE PATYS KLIPAI
+27.8%

didesnis „Familiar“ panašumas į kalbėtoją (0.461 vs 0.360), arčiau visose 11 kalbų

PALYGINTI SU ELEVENLABS · DUBBING V1 TYRIMAS · 418 SUPORUOTŲ DUBLIAŽŲ
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Tekstas ekrane yra vaizdo įrašo dalis

Šiuolaikinis vaizdo turinys remiasi tekstu ekrane: užrašais, juokeliais, memais, vienu žodžiu, sutapusiu su ritmu. Kiekvienas jų yra vaizdinis įvykis originalo kalba. Jį pritaikant galioja du reikalavimai:

  • Niekada nepažeisti vaizdo. Artefaktai ar vaizdą blaškantys elementai rezultatą padaro prastesnį už originalą.
  • Niekada neversti pažodžiui. Pirmiau reikia suprasti, kodėl šis tekstas atsiranda būtent šią akimirką ir šioje vietoje, tik tada jį galima pritaikyti.

Šiandien „Familiar“ multimodalinis lokalizavimo sprendimų modelis (MLDM), pirmasis pamatinis multimodalinio vertimo modelis, nauja paradigma, pirmoji tokio pobūdžio, kartu su dubliažu verčia pavadinimus, aprašus ir subtitrus. Tekstas kadre jau kuriamas: telefono ekranas ar gatvės lentelė, užrašyti jūsų jau pasirinktais terminais, prekės ženklas ar vardas iš karto paliekamas toks, koks nufilmuotas, tad Tostitos pakelis lieka Tostitos, o kurį tekstą versti, renkatės jūs. Taisyklė galioja: jei pakeitimą galima pastebėti, jis nepakankamai geras.

PIRMASIS PAMATINIS MULTIMODALINIO VERTIMO MODELIS

Lūpų sinchronizavimas: sėkmė – likti nepastebėtam

Lūpų sinchronizavimui galioja tas pats griežtas reikalavimas: niekada nepažeisti vaizdo. Didžiausias komplimentas, kurio gali sulaukti dubliažo lūpų sinchronizavimas, yra klausimas „o kas pasikeitė?“

Iš keturių jis atrodo mažiausiai svarbus; galutinėje patirtyje yra beveik priešingai. Žmonės klausosi ir akimis: tas pats garsas, matant skirtingus burnos judesius, girdimas kaip skirtingi garsai, tai McGurko efektas. Nesutampanti burna yra viena priežasčių, kodėl dubliuotas vaizdo įrašas kelia diskomfortą, kurio žiūrovai negali įvardyti.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

Šis efektas veikia ir dubliažo naudai. Kai burna sutampa, smegenys neaiškumą sprendžia sutapimo linkme: tarimas atrodo aiškesnis, o tembras labiau primena tą patį žmogų.

Sunkiausios vietos: balsai už kadro, vienas kitą perdengiantys kalbėtojai, panašiai atrodantys ar skambantys žmonės ir burnos redagavimas nesugadinant veido. Kadre atsiradus dviem žmonėms, šiandieniai įrankiai sinchronizuoja abi burnas vienu metu.

Lūpos yra tik pradžia. Žmogus sakinį atlieka visu veidu – akimis, antakiais, skruostais, galva – ir kūnu: gestais, linktelėjimais, klausymosi pauze.

Viena problema, o ne keturios

Kiekvienas reikalavimas vis susiaurėdavo iki to paties sakinio. Natūralus vertimas: parašyti, ką sako šis vaizdo įrašas, tiksline kalba. Natūralus garsas: išsaugoti tą patį atlikimą naujais žodžiais. Tekstas ekrane: suprasti, kodėl jis ten yra, prieš jį liečiant. Lūpų sinchronizavimas: redaguoti žmogų jo nesugadinant.

Tas pats atlikimas kita kalba.

Būtent tai sprendžia MLDM, išmatuota tuose pačiuose klipuose ir paskelbta /benchmark. Kiekvienas sprendimas įrašomas kartu su projektu ir gali būti pakeistas; šiandien jūsų kūrybos direktoriai renkasi iš vertimo variantų.

ŠALTINIAI

  1. [1]„Familiar“ ir „ElevenLabs“ lyginamasis testas: visi rezultatai, intervalai ir klausymo pavyzdžiai
  2. [2]DI ir žmogaus vertimas: išbandyta su profesionalais
  3. [3]DI lūpų sinchronizavimas: kas tai, ko jam trūksta, kas jį pranoksta
  4. [4]Kodėl dubliažas užsienyje neįtikina ir kaip studijos tai taiso (studijos požiūris į tą patį argumentą)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

Multimodalinis vertimas

„Familiar Labs“ kuria naujos kartos dubliažą, pasitelkdama multimodalinį lokalizavimo sprendimų modelį (MLDM), pirmąjį pamatinį multimodalinio vertimo modelį: vienas modelis sprendžia, ką lokalizuoti tekste, garse ir vaizde, ir parodo jums pasirinkimus. Jūsų balsas ir lūpos, perkelti į naujas kalbas. Tai 8 žmonių komanda su mokslų daktarais, kurią remia „Samsung“, „RedBird“ ir „Gold House“. Mūsų misija

Žiūrėti visą lyginamąjį testą →Pasikalbėti su komanda