Первая фундаментальная модель для мультимодального перевода

01. Что такое фундаментальная модель для мультимодального перевода?

Видео говорит больше, чем его слова. Голос говорящего, движение его губ, смех в зале и музыка под сценой несут смысл. Чтобы хорошо перевести видео, нужно перенести всё это и сохранить согласованность: реплика должна ложиться на рот, голос должен звучать в своей сцене, а человек в кадре должен оставаться в точности собой.

Фундаментальная модель для мультимодального перевода выполняет всю эту работу одна. Она воспринимает материал как единое целое и решает, как каждая его часть должна прозвучать на новом языке. Familiar создал первую такую модель и называет её MLDM.

02. Почему дубляж до сих пор шёл через отдельные инструменты?

Человеческий дубляж всегда был недоступен большей части мира. Даже крупнейшие проекты дублируют лишь на несколько языков из-за стоимости, нехватки людей и времени, а небольшие проекты, шоу и вертикальные сериалы не дублируют вообще. Полный человеческий дубляж, перевод плюс озвучка, стоит от $70 до $150 за готовую минуту.

03. Что меняется, когда одна модель переносит всё сразу?

++

Аудиовизуальный перевод сразу, без каскада: первый в своём роде.

Игра того же актёра доходит до зрителя целиком: его собственный голос, губы, которые двигаются в такт новым словам, его мимика и звук сцены вокруг. Смех, толпа и музыка остаются как были. На тех же роликах у YouTube на 232.6% больше ошибок в фоновом звуке, чем у Familiar. По одним только словам перевод идёт вровень с первым проходом опытного профессионала: 100.3% от его качества. Все цифры на бенчмарке.

Меняется и работа вокруг дубляжа. Путь к высокому качеству сегодня вспомогательный: команда VFX-художников неделями работает план за планом, и каждый язык становится новым проектом. Инструменты, которые сегодня работают за один проход, быстры и жертвуют всем остальным: перевод нельзя отредактировать, музыка и атмосфера помещения пропадают, а губы сбиваются на обычных планах, стоит появиться руке перед лицом, микрофону, размытию, боке, боковому ракурсу или нескольким людям в кадре. Ни пространственного мышления, ни понимания мира. Familiar работает за один проход и сохраняет качество: одна загрузка переносит видео на все выбранные вами языки сразу, а решения согласованы, потому что их принимает одна модель, так что ничего не приходится сшивать вручную.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Что решает MLDM и что выбираете вы?

Мультимодальная модель принятия решений о локализации и есть сама модель. MLDM решает, что и как локализовать в тексте, аудио и видео. Полное определение в статье Что такое мультимодальная модель принятия решений о локализации (MLDM)?

1. СЕГОДНЯ

   Решения по переводу, которые проверяют ваши креативные директора.

   Каждое решение записывается в задачу дубляжа. Любое из них можно изменить.
2. В РАЗРАБОТКЕ

   Решения по аудио и видео на той же проверке.

3. В РАЗРАБОТКЕ

   Текст в кадре и лайв-дубляж.

   Экран телефона или уличный указатель, написанные в тех формулировках, которые вы уже выбрали; бренд или имя остаются как снято, модель решает это на ходу: пачка Tostitos останется Tostitos.

Как записываются эти решения, рассказано в статье Журнал решений.

05. Что студия получает от фундаментальной модели?

MLDM берёт на себя рутину. Творческие решения остаются за людьми, которые создали работу; модель переносит всё остальное на все языки сразу.

Каждый дубляж обрабатывается на этом кластере и никогда у стороннего провайдера инференса, поэтому ваши материалы не утекут. Подробности в документации по приватному инференсу и в документации по выходным файлам. За этим стоят PhD, положившие начало направлению совместных аудиовизуальных моделей человека: 22 статьи, более 10 000 цитирований, советники проф. Xu Zheng и проф. Youngjung Uh; нас поддерживают Samsung, RedBird и Gold House. Статьи собраны в разделе наши исследования.

06. Является ли фундаментальная модель для перевода генеративным ИИ?

Не в традиционном смысле. IBM определяет генеративный ИИ так:

Это сильный инструмент для создания нового. У MLDM нет промпта, и ничего нового не выдумывается: модель переносит на другой язык то, что уже есть. Не «генеративный ИИ», а перевод в помощь творцам. От человека к человеку, а охват всё шире.

Другие статьи этой серии: Аудиовизуальный перевод сразу, без каскада, Что фундаментальная модель для мультимодального перевода значит для студий и платформ и Первопроходцы мультимодального перевода.

ВОПРОСЫ