ДАСЛЕДЧАЯ НАТАТКА

Што сапраўды важна ў перакладзе відэа

FAMILIAR · ДАСЛЕДАВАННІАБНОЎЛЕНА УСЕ АРТЫКУЛЫ
МОВА АРТЫКУЛАEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

АНАТАЦЫЯ

Ці трымаецца дубляж, вырашаюць чатыры рэчы: пераклад чытаецца так, быццам напісаны на мэтавай мове, голас па-ранейшаму гучыць як голас моўцы, тэкст у кадры пераходзіць у новую версію, а губы супадаюць. Першыя дзве вырашаюць лёс астатніх. І ўсе чатыры аказваюцца адной задачай: той самай ігрой на іншай мове.

Чатыры задачы

Спытайце, што робіць дубляж відэа добрым, і атрымаеце доўгі спіс. Ён сціскаецца да чатырох пунктаў:

НАТУРАЛЬНЫ ПЕРАКЛАД
ШТО ЗНАЧЫЦЬ ДОБРАНовы сцэнар на мэтавай мове, які добра перадае відэа, а не пераклад сказа ў сказ.
НАТУРАЛЬНЫ ГУК
ШТО ЗНАЧЫЦЬ ДОБРАТой самы чалавек, тая самая эмоцыя, той самы націск, на новай мове.
ТЭКСТ У КАДРЫ
ШТО ЗНАЧЫЦЬ ДОБРААдаптаваны пад мову і пад момант, калі ён з'яўляецца, без шкоды для відэа.
ЛІПСІНК
ШТО ЗНАЧЫЦЬ ДОБРАНепрыкметны. Глядач ніколі не заўважае, што ён быў.

Калі не ўдаліся першыя дзве, астатняе ўжо не мае значэння: адзін няправільна перакладзены сказ ці відавочна чужы голас губяць дубляж самі па сабе. Апошнія дзве вырашаюць, ці адчуваецца вынік як арыгінал або як дубляж.

Натуральны пераклад: новы сцэнар, а не адпаведнасць

Кожная мова выказвае думку па-свойму: словы, ідыёмы, будова сказа, формы звароту, тое, што ўвогуле прамаўляецца. Папрасіце мадэль «перакласці», і яна супаставіць сказы мовы A са сказамі мовы B адзін да аднаго. Людзі робяць тое самае: варта назваць іх перакладчыкамі, і задача звужаецца да пераўтварэння сказаў.

Дубляж, перакладзены так, зразумелы, але памылковы.

Гледачу патрэбны новы сцэнар, напісаны на мэтавай мове, які добра перадае змест відэа.
  • Японская пазбягае занадта прамых фармулёвак; натуральную рэпліку часта трэба перабудаваць ускосна, а не змякчаць слова за словам.
  • Карэйская увесь час прапускае дзейнік; калі пераносіць у карэйскую англійскія займеннікі з англійскай частатой, тэкст гучыць чужа, нават калі кожнае слова правільнае.
  • Парадак слоў, стыль, ганаровыя формы і тое, пра што культура маўчыць, мяняюцца ад мовы да мовы; пераклад не становіцца добрым толькі таму, што захаваўся літаральны сэнс.

«Добра» не ўкладваецца ў чэк-ліст, таму мы сціскаем мэту да аднаго сказа: добра перадаць змест відэа на мэтавай мове. І гэта можна вымераць:

100.3%

ад якасці перакладу вопытнага прафесіянала ў Familiar пры сляпой ацэнцы па эталонных праўках экспертаў

ФРАНЦУЗСКАЯ, КІТАЙСКАЯ, ХІНДЗІ, ІНДАНЕЗІЙСКАЯ (ПЕРШЫ ПРАХОД ВОПЫТНЫХ ПРАФЕСІЙНЫХ ПЕРАКЛАДЧЫКАЎ)
54.7%

менш істотных памылак перакладу ў Familiar на тых самых кліпах (29 супраць 64)

СУПРАЦЬ ELEVENLABS DUBBING V2 (ALPHA) · 111 ПАРНЫХ ДУБЛЯЖОЎ · 3 МОВЫ

Натуральны гук: той самы чалавек на новай мове

Вымаўленне амаль вырашанае. Цікавыя збоі пачынаюцца далей:

  • Ідэнтычнасць: той самы чалавек і гучыць як той самы чалавек, на кожнай мове.
  • Эмоцыя: тое, што адчуваў моўца, перажывае змену мовы.
  • Націск, тэмп, намер: куды схіляецца сказ, як хутка ён рухаецца, чаго ён дамагаецца.

Мэта сціскаецца так жа, як і ў перакладзе: гук адпавядае відэа. Не «згенераваць мову B голасам з мовы A». Тая самая ігра на новай мове. І сцэна таксама частка гуку: смех, музыка, памяшканне.

270%

больш пашкоджанняў фонавага гуку ў ElevenLabs (11.92 супраць 3.22 дБ): музыка, эфекты, атмасфера

ДАСЛЕДАВАННЕ DUBBING V2 (ALPHA) · ТЫЯ САМЫЯ КЛІПЫ
+27.8%

вышэйшае падабенства да моўцы ў Familiar (0.461 супраць 0.360), і так на ўсіх 11 мовах

СУПРАЦЬ ELEVENLABS · ДАСЛЕДАВАННЕ DUBBING V1 · 418 ПАРНЫХ ДУБЛЯЖОЎ
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Тэкст у кадры таксама частка відэа

Сучаснае відэа шмат трымаецца на тэксце ў кадры: подпісы, жарты, мемы, адно слова, пастаўленае ў рытм. Кожны з іх з'яўляецца візуальнай падзеяй на мове арыгінала. Адаптацыя мае дзве ўмовы:

  • Ніколі не шкодзіць відэа. Артэфакты ці візуальныя адцягненні робяць вынік горшым за арыгінал.
  • Ніколі не перакладаць літаральна. Спачатку трэба зразумець, чаму гэты тэкст з'яўляецца ў гэты момант і ў гэтым месцы, і толькі тады яго адаптаваць.

Сёння мультымадальная мадэль прыняцця рашэнняў у лакалізацыі (MLDM) ад Familiar, першая фундаментальная мадэль для мультымадальнага перакладу, новая парадыгма, першая ў сваім родзе, перакладае назвы, апісанні і субцітры разам з дубляжом. Тэкст унутры кадра ў распрацоўцы: экран тэлефона ці вулічная таблічка, напісаныя ў тых тэрмінах, што вы ўжо выбралі; брэнд ці імя мадэль на хаду пакідае такімі, як знята, так што пачак Tostitos застаецца Tostitos, а які тэкст перакладаць, выбіраеце вы. Правіла застаецца ў сіле: калі праўку можна заўважыць, яна недастаткова добрая.

ПЕРШАЯ ФУНДАМЕНТАЛЬНАЯ МАДЭЛЬ ДЛЯ МУЛЬТЫМАДАЛЬНАГА ПЕРАКЛАДУ

Ліпсінк: удаецца, калі яго не заўважаюць

Да ліпсінку тая самая жорсткая ўмова: ніколі не шкодзіць відэа. Найвышэйшая пахвала ліпсінку дубляжу гучыць як пытанне: «А што змянілася?»

З чатырох ён выглядае найменш важным; у гатовым прадукце хутчэй наадварот. Людзі слухаюць вачыма: адзін і той жа гук чуецца па-рознаму пры розных рухах рота, гэта эфект Мак-Гурка. Рот, які не супадае з голасам, адна з прычын, чаму дубляванае відэа выклікае нязручнасць, якую глядач не можа назваць.
МАК-ГУРК І МАКДОНАЛЬД, «HEARING LIPS AND SEEING VOICES», NATURE 264 (1976)

Гэты ж эфект працуе і на карысць дубляжу. Калі рот супадае, мозг вырашае неадназначнасць на карысць згоды: вымаўленне здаецца выразнейшым, а тэмбр больш падобным да таго самага чалавека.

Складанае тут: галасы за кадрам, рэплікі, што накладаюцца, людзі, падобныя знешне ці па голасе, і праўка рота так, каб не зламаць твар. Пастаўце ў кадр двух чалавек, і сённяшнія інструменты сінхранізуюць абодва раты адначасова.

Губы толькі пачатак. Чалавек іграе сказ усім тварам (вачыма, бровамі, шчокамі, галавой) і целам: жэстамі, кіўкамі, паўтактам слухання.

Адна задача, а не чатыры

Кожная ўмова раз за разам сціскалася да таго ж сказа. Натуральны пераклад: напішы тое, што кажа гэта відэа, на мэтавай мове. Натуральны гук: захавай тую самую ігру ў новых словах. Тэкст у кадры: зразумей, навошта ён тут, перш чым кранаць. Ліпсінк: правя чалавека, не ламаючы яго.

Тая самая ігра на іншай мове.

Гэта і вырашае MLDM, вымерана на тых самых кліпах і апублікавана на /benchmark. Кожнае рашэнне фіксуецца разам з заданнем, і яго можна змяніць; сёння вашы крэатыўныя дырэктары выбіраюць паміж варыянтамі перакладу.

КРЫНІЦЫ

  1. [1]Бенчмарк Familiar супраць ElevenLabs: поўныя вынікі, інтэрвалы і прыклады для праслухоўвання
  2. [2]ШІ супраць чалавека ў перакладзе: тэст з прафесіяналамі
  3. [3]ШІ-ліпсінк: што гэта, што ён прапускае і што яго перасягае
  4. [4]Чаму дубляж за мяжой гучыць фальшыва, і як студыі гэта выпраўляюць (той самы аргумент з пункту гледжання студыі)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

Мультымадальны пераклад

Familiar Labs робіць дубляж новага пакалення з дапамогай мультымадальнай мадэлі прыняцця рашэнняў у лакалізацыі (MLDM), першай фундаментальнай мадэлі для мультымадальнага перакладу: адна мадэль вырашае, што лакалізаваць у тэксце, гуку і карцінцы, і выносіць варыянты на ваш выбар. Ваш голас і губы, перанесеныя ў новыя мовы. Гэта каманда з 8 чалавек з PhD, якую падтрымліваюць Samsung, RedBird і Gold House. Наша місія

Глядзець поўны бенчмарк →Пагаварыць з камандай