Аудиовизуальный перевод сразу, без каскада

01. Что такое эпоха каскада в машинном дубляже?

Машинный дубляж начинался как каскад: четыре инструмента подряд, каждый построен и настроен отдельно, и каждый передаёт свой результат следующему.

1. 01

   Расшифровка.

   Распознавание речи записывает то, что было сказано.
2. 02

   Перевод.

   Текстовая модель переводит расшифровку на новый язык, не слыша голоса и не видя лица.
3. 03

   Голос.

   Синтез речи зачитывает перевод вслух, часто чужим голосом.
4. 04

   Липсинк.

   Отдельный инструмент подгоняет рот под новый звук, когда все слова уже зафиксированы.

Эта цепочка сделала машинный дубляж возможным. Её предел заложен в самой форме: каждый этап гадает без остальных. Перевод не может знать, что реплика должна лечь на закрытый рот. Голос не может знать, в каком помещении он звучит. Неверно расслышанное слово или слишком длинная реплика передаются дальше, и ошибка накапливается на каждом следующем этапе.

С годами каждый инструмент становился лучше: чище расшифровка, точнее перевод, естественнее голос. Готовый дубляж улучшался медленнее, потому что швы между инструментами оставались на своих местах.

02. С чем покупатель сталкивается сегодня?

На практике каскад приходит как набор инструментов: расшифровка из одного, перевод из другого, голос из третьего, липсинк и субтитры из четвёртого. Исправление одной реплики означает заново прогнать все последующие этапы, а кто-то в вашей команде держит все файлы вместе. Инструменты, которые обходят этот набор, жертвуют либо качеством, либо временем. Вспомогательные инструменты достигают качества силами команды VFX-художников на сложных планах: недели на проект, и каждый язык становится новым проектом. Инструменты, которые работают за один проход, быстры и жертвуют всем остальным: голос теряет сходство, атмосфера помещения пропадает, а губы сбиваются, стоит появиться руке перед лицом, микрофону, размытию, боке, боковому ракурсу или нескольким людям в кадре; ни пространственного мышления, ни понимания мира. Familiar работает за один проход и сохраняет качество.

Другой путь: полный человеческий дубляж, перевод и озвучка, за $70–150 за готовую минуту. Стоимость, нехватка людей и время делают его недоступным для большей части мира: даже крупнейшие проекты дублируют лишь на несколько языков, а небольшие проекты, шоу и вертикальные сериалы в основном не дублируют вообще.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Если вы рассматриваете ElevenLabs Dubbing, вот их документация в цитатах рядом с нашим исследованием:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Что меняется, когда все решения принимает одна модель?

Familiar дублирует с помощью мультимодальной модели принятия решений о локализации (MLDM). MLDM решает, что и как локализовать в тексте, аудио и видео, а решения согласованы, потому что их принимает одна модель. Определение в статье Первая фундаментальная модель для мультимодального перевода.

На выходе вы получаете собственную игру актёра на другом языке: его голос, губы, мимику и звук сцены, перенесённые вместе. Одна загрузка выходит сразу на всех языках: дубляж на 30 языков из материала на любом из 99 исходных языков.

Совместные решения меняют и то, что может пойти не так. Реплика, которая вышла бы слишком длинной, переводится под время и под рот ещё до того, как появится голос. Смех посреди фразы остаётся смехом. Когда двое говорят одновременно, модель знает, кто произносит какую реплику, и двигаются нужные губы.

04. Что это меняет в готовом дубляже?

Мы прогоняем одни и те же ролики через обе системы и оцениваем их одинаково. Каждая цифра взята из своего исследования, опубликованного на бенчмарке.

Голос тоже измерен: Familiar звучит на 27.8% ближе к настоящему говорящему, чем ElevenLabs Dubbing v1, ближе во всех 11 языках, в исследовании, процитированном выше.

В своём исследовании автодубляж YouTube показал на 232.6% больше ошибок в фоновом звуке. Сцена сохраняется, потому что MLDM слышит всё в дорожке, смех, толпу, музыку, находит главный голос, переносит его на новый язык собственным голосом говорящего, а остальное оставляет как было.

05. Что значит «сначала перевод, затем дубляж за один проход»?

++

Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена вместе.

Порядок важен. Первым идёт перевод, и его проверяют ваши креативные директора: там, где реплику можно передать по-разному, они видят варианты с обоснованием каждого и выбирают один. Только после этого дубляж делается, один раз. Ничего нового не выдумывается. Не «генеративный ИИ», а перевод в помощь творцам. MLDM берёт на себя рутину.

Субтитры нарезаются по правилам Timed Text Style Guide от Netflix, стандарта шаблонов субтитров, по которому работает индустрия. Каждый дубляж обрабатывается на собственном кластере Familiar из GPU NVIDIA B300 стоимостью в десятки миллионов долларов в Торонто, в Канаде, никогда в публичном облаке вроде Google Cloud или AWS и никогда у стороннего провайдера инференса. Файлы описаны в документации по выходным файлам, обработка в разделе приватный инференс, а что это значит для каталога, в статье Что фундаментальная модель для мультимодального перевода значит для студий и платформ.

06. За кем последнее слово?

1. СЕГОДНЯ

   Ваши креативные директора проверяют решения по переводу.

   Варианты с обоснованием каждого; директора выбирают один до того, как что-либо выйдет.
2. СЕГОДНЯ

   Список «Не переводить» и контекст одной строкой идут вместе с задачей.

3. В РАЗРАБОТКЕ

   Решения по аудио и видео на той же проверке.

   Что останется на языке оригинала, другое лицо, когда модель ошиблась с говорящим, и текст в кадре.

Для каталога меняется охват. Шоу, которое осталось бы на одном языке, может выйти сразу на 30, с собственной игрой актёров, а ваша команда по-прежнему принимает каждое важное решение.

Это и есть журнал решений; полная история в статье Журнал решений, а что решает модель, в статье Что такое MLDM. Исследования, на которых всё построено, описаны в статье Первопроходцы мультимодального перевода. От человека к человеку, а охват всё шире.

ВОПРОСЫ