ДОСЛІДНИЦЬКА НОТАТКА

Що насправді важить у перекладі відео

FAMILIAR · ДОСЛІДЖЕННЯОНОВЛЕНО ВСІ СТАТТІ
ЧИТАТИ МОВОЮEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

АНОТАЦІЯ

Чи тримається дубляж, вирішують чотири речі: переклад читається так, ніби його написали цільовою мовою, звук і далі звучить як мовець, текст на екрані переноситься, а губи збігаються. Від перших двох залежить усе інше. Зрештою всі чотири виявляються однією проблемою: та сама гра, але іншою мовою.

Чотири проблеми

Запитайте, що робить дубльоване відео добрим, і отримаєте довгий список. Він стискається до чотирьох пунктів:

ПРИРОДНИЙ ПЕРЕКЛАД
ЩО ОЗНАЧАЄ «ДОБРЕ»Новий сценарій цільовою мовою, який добре передає відео, а не відповідність речення до речення.
ПРИРОДНИЙ ЗВУК
ЩО ОЗНАЧАЄ «ДОБРЕ»Та сама людина, та сама емоція, той самий наголос, але новою мовою.
ТЕКСТ НА ЕКРАНІ
ЩО ОЗНАЧАЄ «ДОБРЕ»Адаптований під мову й під момент, коли він з'являється, і без шкоди для відео.
ЛІПСИНК
ЩО ОЗНАЧАЄ «ДОБРЕ»Непомітний. Глядач так і не помічає, що він був.

Якщо провалено перші дві, решта вже не має значення: хибно перекладене речення чи явно чужий голос самі по собі ставлять хрест на дубляжі. Останні дві вирішують, чи результат сприймається як оригінал, чи як дубляж.

Природний переклад: новий сценарій, а не відповідність

Кожна мова висловлює думку по-своєму: слова, ідіоми, будова речення, форми звертання, те, що взагалі промовляють уголос. Попросіть модель «перекласти», і вона зіставить речення мови A з реченнями мови B один до одного. Люди роблять те саме: щойно задачу названо перекладом, вона зводиться до перетворення речень.

Дубляж, перекладений так, зрозумілий, але хибний.

Глядачеві потрібен новий сценарій, написаний цільовою мовою, який добре передає зміст відео.
  • Японська уникає надто прямих формулювань; природну репліку часто доводиться будувати наново й непрямо, а не пом'якшувати слово за словом.
  • Корейська постійно опускає підмет; англійські займенники, перенесені в корейську з англійською частотою, звучать чужо, навіть коли кожне слово правильне.
  • Порядок слів, регістр, гоноративи й те, що культура лишає несказаним, змінюються з кожною мовою; переклад не стає добрим лише тому, що вцілів буквальний зміст.

«Добре» не вкладається в чекліст, тож ми стискаємо мету до одного речення: добре передати зміст відео цільовою мовою. А це вже можна виміряти:

100.3%

від якості експертного людського перекладу в Familiar, сліпа оцінка за еталонними правками експертів

ФРАНЦУЗЬКА, КИТАЙСЬКА, ГІНДІ, ІНДОНЕЗІЙСЬКА (ПЕРШИЙ ПРОХІД ЕКСПЕРТНИХ ПРОФЕСІЙНИХ ПЕРЕКЛАДАЧІВ)
54.7%

менше серйозних помилок перекладу в Familiar на тих самих кліпах (29 проти 64)

ПРОТИ ELEVENLABS DUBBING V2 (ALPHA) · 111 ПАРНИХ ДУБЛЯЖІВ · 3 МОВИ

Природний звук: та сама людина новою мовою

Вимову майже розв'язано. Цікаві провали лежать далі:

  • Ідентичність: та сама людина й далі звучить як та сама людина, хоч якою мовою.
  • Емоція: те, що відчував мовець, переживає зміну мови.
  • Наголос, темп, намір: куди хилиться речення, як швидко воно рухається, чого воно прагне.

Мета стискається так само, як і мета перекладу: звук відповідає відео. Не «згенерувати мову B голосом із мови A». Та сама гра, але новою мовою. І сцена теж частина звуку: сміх, музика, атмосфера приміщення.

270%

більше пошкоджень фонового звуку в ElevenLabs (11.92 проти 3.22 дБ): музика, ефекти, атмосфера

ДОСЛІДЖЕННЯ DUBBING V2 (ALPHA) · ТІ САМІ КЛІПИ
+27.8%

вища схожість голосу з мовцем у Familiar (0.461 проти 0.360), ближча в усіх 11 мовах

ПРОТИ ELEVENLABS · ДОСЛІДЖЕННЯ DUBBING V1 · 418 ПАРНИХ ДУБЛЯЖІВ
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Текст на екрані теж частина відео

Сучасне відео спирається на текст на екрані: підписи, жарти, меми, одне слово точно в біт. Кожен такий текст є візуальною подією мовою оригіналу. Щоб його адаптувати, треба дотриматися двох вимог:

  • Ніколи не шкодити відео. Артефакти чи візуальний шум роблять результат гіршим за оригінал.
  • Ніколи не перекладати буквально. Спершу треба зрозуміти, чому цей текст з'являється саме в цю мить і саме тут, і лише тоді його адаптувати.

Уже сьогодні мультимодальна модель рішень щодо локалізації (MLDM) від Familiar, перша фундаментальна модель для мультимодального перекладу, нова парадигма, перша у своєму роді, перекладає назви, описи й субтитри разом із дубляжем. Текст у кадрі в розробці: екран телефона чи вуличний покажчик писатимуться в термінах, які ви вже обрали, бренд чи ім'я модель на льоту лишатиме як знято, тож пачка Tostitos лишиться Tostitos, а який текст перекладати, вирішуватимете ви. Правило незмінне: якщо правку можна помітити, вона недостатньо добра.

ПЕРША ФУНДАМЕНТАЛЬНА МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕКЛАДУ

Ліпсинк: успіх, якого не помічають

До ліпсинку та сама жорстка вимога: ніколи не шкодити відео. Найвища похвала, яку може заслужити ліпсинк дубляжу, звучить як питання: «а що змінилося?»

Серед чотирьох він здається найменш важливим; у готовому результаті все майже навпаки. Люди слухають і очима: той самий звук чути як різні звуки, залежно від руху губ, і це ефект Мак-Ґурка. Губи, що не збігаються зі звуком, одна з причин, чому дубльоване відео викликає дискомфорт, який глядач не може назвати.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

Цей ефект працює й на користь дубляжу. Щойно губи збігаються, мозок розв'язує неоднозначність на користь узгодженості: вимова здається чіткішою, а тембр більше схожим на ту саму людину.

Найскладніше: голоси за кадром, мовці, що перебивають одне одного, люди, схожі на вигляд чи на голос, і правка губ так, щоб не зламати обличчя. Покажіть на екрані двох людей, і сучасні інструменти синхронізують губи обом одразу.

Губи тут лише початок. Речення людина грає всім обличчям: очима, бровами, щоками, головою; і тілом: жестами, кивками, тим півтактом, коли вона слухає.

Одна проблема, а не чотири

Кожна вимога зводилася до того самого речення. Природний переклад: написати те, що каже відео, цільовою мовою. Природний звук: зберегти ту саму гру в нових словах. Текст на екрані: зрозуміти, навіщо він там, перш ніж його торкатися. Ліпсинк: змінити людину, не зламавши її.

Та сама гра, але іншою мовою.

Саме це вирішує MLDM, виміряно на тих самих кліпах і опубліковано на /benchmark. Кожне рішення зберігається разом із завданням, і його можна змінити; уже сьогодні ваші креативні директори обирають серед варіантів перекладу.

ДЖЕРЕЛА

  1. [1]Бенчмарк Familiar проти ElevenLabs: повні результати, інтервали й аудіоприклади
  2. [2]ШІ проти людського перекладу: перевірка на професіоналах
  3. [3]ШІ-ліпсинк: що це, що він пропускає і що його перевершує
  4. [4]Чому дубляж за кордоном звучить не так, і як студії це виправляють (той самий аргумент у версії для студій)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

Мультимодальний переклад

Familiar Labs створює дубляж нового покоління за допомогою мультимодальної моделі рішень щодо локалізації (MLDM), першої фундаментальної моделі для мультимодального перекладу: одна модель вирішує, що локалізувати в тексті, звуці та зображенні, і показує вам варіанти. Ваш голос і губи, перенесені в нові мови. Команда з 8 людей зі ступенями PhD, за підтримки Samsung, RedBird та Gold House. Наша місія

Переглянути повний бенчмарк →Зв'язатися з командою