Что фундаментальная модель для мультимодального перевода значит для студий и платформ

01. Что фундаментальная модель меняет в дубляже?

Раньше машинный дубляж был каскадом отдельных инструментов: расшифровка, затем перевод, затем голос, затем липсинк. Каждый этап гадал без остальных, и ошибки переходили от этапа к этапу. Сегодня покупатель выбирает между качеством и временем. Вспомогательные инструменты достигают качества силами команды VFX-художников: недели на проект, и каждый язык становится новым проектом. Инструменты, которые работают за один проход, быстры и жертвуют всем остальным: перевод нельзя отредактировать, голос теряет сходство, музыка и атмосфера помещения пропадают, а губы сбиваются, стоит появиться руке перед лицом, микрофону, размытию, боке, боковому ракурсу или нескольким людям в кадре. Ни пространственного мышления, ни понимания мира, ни контроля. Familiar заменяет цепочку одной мультимодальной моделью принятия решений о локализации (MLDM): один проход и качество.

++

Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена вместе.

Аудиовизуальный перевод сразу, без каскада: первый в своём роде. Определение в статье Первая фундаментальная модель для мультимодального перевода; сравнение с каскадом шаг за шагом в статье Аудиовизуальный перевод сразу, без каскада.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Может ли одна загрузка охватить все наши рынки?

Да. Материал на любом из 99 исходных языков загружается один раз, а дубляж выходит на любом из 30 языков, которые вы закажете: все языки из одной загрузки, и в каждом та же игра. Сезон, библиотека или поток вертикальных серий идут тем же путём, а условия, заданные один раз, переходят в следующую серию.

Полный человеческий дубляж, перевод плюс озвучка, стоит от $70 до $150 за готовую минуту. При такой цене он недоступен большей части мира. Даже крупнейшие проекты дублируют лишь на несколько языков из-за стоимости, нехватки людей и времени.

Именно этот разрыв закрывает Familiar. Не «генеративный ИИ», а перевод в помощь творцам. MLDM берёт на себя рутину. От человека к человеку, а охват всё шире.

03. Кто решает, как реплика прозвучит на другом языке?

MLDM решает, что и как локализовать в тексте, аудио и видео. Важные решения остаются за вашей командой. Первым идёт перевод, и там, где реплику можно передать по-разному, ваши креативные директора видят варианты и обоснование каждого, прежде чем что-либо будет дублировано.

Каждое решение записывается в задачу дубляжа, и любое из них можно изменить. Полная история в статье Журнал решений. По одним только словам перевод идёт вровень с опытными переводчиками-людьми: 100.3% от их качества, по замерам бенчмарка.

04. Что возвращается с готовым дубляжом?

Поставка, которую ваша постпродакшен-команда может сразу вставить в релиз, по спецификации, которую требуют стриминговые сервисы. Звук сцены остаётся как был: музыка, атмосфера и смех сохраняются, и на другой язык переходит только речь.

Субтитры строятся по проверенному переводу и нарезаются по правилам Timed Text Style Guide от Netflix, стандарта шаблонов субтитров, по которому работает индустрия. Все файлы и форматы перечислены в документации по выходным файлам.

05. Где обрабатывается наш материал?

Невыпущенный материал студия защищает больше всего. Каждый дубляж обрабатывается на собственном кластере Familiar из GPU NVIDIA B300 стоимостью в десятки миллионов долларов в Торонто, в Канаде, на вычислительных мощностях, которыми Familiar владеет.

Путь дубляжа и ответы для вашей проверки безопасности собраны в документации по приватному инференсу.

06. Что доступно сегодня, а что в разработке?

1. СЕГОДНЯ

   Все языки из одной загрузки, с собственным голосом и губами актёра.

   30 языков на выходе, 99 исходных языков на входе; до 4K, микс в настоящем 5.1 или в стерео, субтитры.
2. СЕГОДНЯ

   Ваши креативные директора проверяют решения по переводу.

   Варианты с обоснованием каждого, записанные в задачу дубляжа.
3. В РАЗРАБОТКЕ

   Решения по аудио и видео на той же проверке.

   Что останется на языке оригинала, другое лицо, какой текст в кадре переводить.
4. В РАЗРАБОТКЕ

   Лайв-дубляж.

Доступ по контракту Studio, под объём вашего каталога: обсудите с командой ваши тайтлы, языки и спецификацию поставки. Команда состоит из PhD, положивших начало направлению совместных аудиовизуальных моделей человека: 22 статьи, более 10 000 цитирований, советники проф. Xu Zheng и проф. Youngjung Uh; нас поддерживают Samsung, RedBird и Gold House. Исследования собраны в наших статьях и в статье Первопроходцы мультимодального перевода; история основателя на странице нашей миссии.

ВОПРОСЫ