Аудіовізуальний переклад водночас, а не каскадом

01. Що таке епоха каскадного машинного дубляжу?

Машинний дубляж починався як каскад: чотири інструменти поспіль, кожен створений і налаштований окремо, і кожен передає свій результат наступному.

1. 01

   Транскрипція.

   Розпізнавання мовлення записує те, що було сказано.
2. 02

   Переклад.

   Текстова модель перекладає транскрипт новою мовою, не чуючи голосу й не бачачи обличчя.
3. 03

   Голос.

   Синтез мовлення зачитує переклад уголос, часто чужим голосом.
4. 04

   Ліпсинк.

   Окремий інструмент рухає губи під нове аудіо, коли кожне слово вже зафіксовано.

Цей ланцюжок зробив машинний дубляж можливим. Його межа закладена в самій формі: кожен етап вгадує, не знаючи про інші. Переклад не може знати, що репліка має лягти на закритий рот. Голос не може знати, в якому приміщенні він звучить. Почуте не так слово чи задовга репліка передаються далі, і помилка накопичується на кожному наступному етапі.

З роками кожен інструмент ставав кращим: чистіший транскрипт, точніший переклад, природніший голос. Готовий дубляж покращувався повільніше, бо шви між інструментами лишалися на тих самих місцях.

02. З чим покупець стикається сьогодні?

На практиці каскад приходить як набір інструментів: транскрипт з одного, переклад з другого, голос із третього, ліпсинк і субтитри з четвертого. Щоб виправити одну репліку, треба наново пройти всі наступні етапи, а хтось у вашій команді тримає всі файли докупи. Інструменти, що обходять цей набір, жертвують або якістю, або часом. Допоміжні інструменти досягають якості, коли над складними кадрами працює команда VFX-художників: тижні на кожен проєкт, а кожна мова означає новий проєкт. Інструменти, які працюють за один прохід, швидкі, але жертвують усім іншим: голос утрачає схожість, атмосфера приміщення зникає, а губи збиваються, щойно в кадрі з'являється рука перед обличчям, мікрофон, розмиття, боке, бічний ракурс або кілька людей; ні просторового мислення, ні розуміння світу. Familiar дає і один прохід, і якість.

Інший шлях це повний людський дубляж, переклад і озвучення, за $70–150 за готову хвилину. Вартість, людські ресурси й час роблять його недоступним для більшої частини світу: навіть топові продакшни дублюють лише кількома мовами, а менші продакшни, шоу й вертикальні драми здебільшого не дублюють узагалі.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Якщо ви розглядаєте ElevenLabs Dubbing, ось цитати з їхньої документації поруч із нашим дослідженням:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Що змінюється, коли всі рішення ухвалює одна модель?

Familiar дублює за допомогою мультимодальної моделі рішень щодо локалізації (MLDM). MLDM вирішує, що локалізувати і як, у тексті, звуці та зображенні, а рішення узгоджені, бо їх ухвалює одна модель. Визначення у статті Перша фундаментальна модель для мультимодального перекладу.

Ви отримуєте власну гру актора іншою мовою: його голос, губи, міміку й звук сцени, перенесені разом. Одне завантаження виходить усіма мовами водночас: дубляж 30 мовами з матеріалу будь-якою з 99 мов джерела.

Спільні рішення змінюють і те, що може піти не так. Репліку, яка вийшла б задовгою, перекладають так, щоб вона вмістилася в час і лягла на губи, ще до появи будь-якого голосу. Сміх посеред речення лишається сміхом. Коли двоє говорять одночасно, модель знає, хто яку репліку вимовляє, тож рухаються потрібні губи.

04. Що це змінює в готовому дубляжі?

Ми проганяємо ті самі кліпи через обидві системи й оцінюємо їх однаково. Кожна цифра походить із власного дослідження, опублікованого в бенчмарку.

Голос теж виміряно: Familiar звучить на 27.8% ближче до справжнього мовця, ніж ElevenLabs Dubbing v1, і так в усіх 11 мовах, за дослідженням, процитованим вище.

Автоматичний дубляж YouTube у власному дослідженні показав на 232.6% більше помилок у фоновому звуці. Сцена вціліла, бо MLDM чує все на доріжці, сміх, натовп, музику, знаходить головний голос, переносить його в нову мову власним голосом мовця, а решту лишає такою, як була.

05. Що означає «спершу переклад, потім дубляж за один прохід»?

++

Спершу переклад, потім дубляж за один прохід: голос, губи й сцена разом.

Порядок важливий. Першим іде переклад, і його перевіряють ваші креативні директори: там, де репліку можна прочитати по-різному, вони бачать варіанти перекладу з обґрунтуванням до кожного й обирають один. Лише тоді дубляж робиться, один раз. Нічого нового не вигадується. Не «генеративний ШІ», а переклад на допомогу творцям. MLDM бере на себе рутину.

Субтитри нарізано за правилами Timed Text Style Guide від Netflix, шаблонного стандарту субтитрів, за яким працює галузь. Кожен дубляж обробляється на власному кластері Familiar із GPU NVIDIA B300 вартістю в десятки мільйонів доларів у Торонто (Канада), ніколи в публічній хмарі на кшталт Google Cloud чи AWS і ніколи стороннім провайдером інференсу. Файли описано в документації про результати, обробку в розділі приватний інференс, а що це означає для каталогу, у статті Що фундаментальна модель для мультимодального перекладу означає для студій і платформ.

06. За ким останнє слово?

1. СЬОГОДНІ

   Ваші креативні директори перевіряють рішення щодо перекладу.

   Варіанти з обґрунтуванням до кожного; вони обирають один, перш ніж щось вийде.
2. СЬОГОДНІ

   Список «Не перекладати» й контекст одним реченням ідуть разом із завданням.

3. У РОЗРОБЦІ

   Рішення щодо звуку й зображення на тому самому екрані перевірки.

   Що звучатиме мовою оригіналу, інше обличчя, коли модель обрала не того мовця, і текст у кадрі.

Для каталогу змінюється охоплення. Шоу, яке лишилося б однією мовою, може вийти 30 мовами водночас, зберігаючи власну гру акторів, а ваша команда й далі ухвалює всі рішення, що мають значення.

Це і є журнал рішень; уся історія у статті Журнал рішень: як креативні директори керують MLDM, а що вирішує модель, у статті Що таке мультимодальна модель рішень щодо локалізації (MLDM)? Дослідження, що стоять за цим, у статті Першопрохідці мультимодального перекладу: від спільних аудіовізуальних досліджень до першої фундаментальної моделі. Від людини до людини, щоб охопити ширшу аудиторію.

ЗАПИТАННЯ