Первопроходцы мультимодального перевода: от совместных аудиовизуальных исследований к первой фундаментальной модели

01. Кто положил начало совместным аудиовизуальным моделям человека?

Дубляж держится, только если голос и лицо остаются одним человеком. Исследователи Familiar: PhD, положившие начало направлению совместных аудиовизуальных моделей человека: их статья JAM-Flow на ECCV 2026 представляет первую совместную аудиовизуальную модель человека, в которой голос и лицо говорящего рассматриваются как одна задача.

Работы охватывают всё, что нужно мультимодальному переводу: совместные аудиовизуальные модели человека, быстрые видеомодели, редактирование и мультимодальное восприятие. Все статьи и конференции перечислены в нашем обзоре исследований. Причина личная: CEO An Zhu Liu в детстве не мог заговорить с одноклассниками по-английски и выучил язык по телевизору; эта история рассказана на странице нашей миссии.

02. Почему дубляж шёл через отдельные инструменты?

Потому что каждую часть сначала решали отдельно. Машинный дубляж появился как цепочка, и именно эта цепочка сделала его вообще возможным. Она же задала его предел, и инструменты, созданные с тех пор, по-прежнему жертвуют либо качеством, либо временем. Вспомогательные инструменты достигают качества силами команды VFX-художников и недель работы на проект, и каждый язык становится новым проектом. Инструменты, которые работают за один проход, быстры и жертвуют всем остальным: их губы сбиваются, стоит появиться руке перед лицом, микрофону, размытию, боке, боковому ракурсу или нескольким людям в кадре; ни пространственного мышления, ни понимания мира. Familiar работает за один проход и сохраняет качество.

++

Familiar: первая фундаментальная модель для мультимодального перевода, одна модель, которая переносит слова, голос, губы и сцену на новый язык, всё сразу.

Сравнение шаг за шагом в статье Аудиовизуальный перевод сразу, без каскада; определение в статье Первая фундаментальная модель для мультимодального перевода.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Что здесь значит «первопроходцы»?

Три вещи, впервые собранные вместе. Первая: аудио и видео переносятся на новый язык сразу, одной моделью, поэтому решения согласованы: голос принадлежит самому актёру, губы следуют за новыми словами, а смех, толпа и музыка остаются на своих местах.

Вторая: порядок. Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена вместе. Слова утверждаются и проходят проверку у ваших креативных директоров до того, как что-либо озвучено.

Третья: журнал. Каждое решение, которое принимает MLDM, записывается в задачу дубляжа, и любое из них можно изменить. Полный рассказ в статье Журнал решений; что такое MLDM, в статье-определении.

04. Что решает модель и что выбираете вы?

Результат исследований становится продуктом, когда люди, которые им пользуются, остаются у руля. MLDM берёт на себя рутину. Творческие решения остаются за вами.

05. Что ещё в разработке?

Первопроходец выпускает первую версию, а не последнюю. Выбор по переводу открыт уже сегодня; остальная часть журнала открывается поэтапно.

1. СЕГОДНЯ

   Ваши креативные директора проверяют решения по переводу.

   Варианты с обоснованием каждого; список «Не переводить» и контекст одной строкой идут вместе с задачей.
2. В РАЗРАБОТКЕ

   Решения по аудио и видео на той же проверке.

3. В РАЗРАБОТКЕ

   Текст в кадре.

   Экран телефона, обложка книги, уличный указатель, написанные в тех формулировках, которые вы уже выбрали; бренд или имя остаются как снято, модель решает это на ходу: пачка Tostitos останется Tostitos.
4. В РАЗРАБОТКЕ

   Лайв-дубляж.

06. Что это меняет для людей в кадре?

Человеческий дубляж недоступен большей части мира. Даже крупнейшие проекты дублируют лишь на несколько языков из-за стоимости, нехватки людей и времени; небольшие проекты, шоу и вертикальные сериалы в основном не дублируют вообще. Фундаментальная модель для мультимодального перевода даёт каждому из них ту же игру на другом языке: голос, губы и мимику актёра на 30 языках, с поставкой до 4K и миксом в настоящем объёмном 5.1 или в стерео в 24-битном PCM (выходные файлы).

Перевод достигает 100.3% от качества перевода опытного профессионала, то есть идёт с ним вровень; исследования на /benchmark. Не «генеративный ИИ», а перевод в помощь творцам. От человека к человеку, а охват всё шире. Что это значит для каталога, рассказано в статье для студий и платформ.

ВОПРОСЫ