ОПРЕДЕЛЕНИЕ

Что такое мультимодальная модель принятия решений о локализации (MLDM)?

FAMILIAR ИССЛЕДОВАНИЯОБНОВЛЕНО ВСЕ СТАТЬИ
ЯЗЫК СТАТЬИEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

АННОТАЦИЯ

Первая фундаментальная модель для мультимодального перевода, новая парадигма, первая в своём роде. MLDM: одна модель, которая решает, что локализовать и как, в тексте, аудио и видео, и показывает вам варианты там, где выбор важен. Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена вместе. Решения согласованы, потому что их принимает одна модель. Человек не меняется.
ПЕРВАЯ ФУНДАМЕНТАЛЬНАЯ МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕВОДААУДИОВИЗУАЛЬНЫЙ ПЕРЕВОД СРАЗУ, БЕЗ КАСКАДА

Что решает MLDM?

ТЕКСТ
Какой вариант перенесёт реплику на новый язык. MLDM взвешивает несколько вариантов перевода и выбирает лучший: в шутке, истории или реплике в диалоге одно слово меняет и посыл, и эмоцию. Те же решения охватывают терминологию, то, что не переводить, сленг как есть, имя и бренд без изменений, замену отсылки на знакомую зрителю, то, чего избегают в этой культуре, и смягчение ненормативной лексики для более юной аудитории.
АУДИО
Что вообще переводить. MLDM слышит всё в дорожке: смех, толпу, крик, говорящего на заднем плане, которого не разобрать. Модель находит главный голос, переносит его на новый язык собственным голосом говорящего, а остальное оставляет как было.
ВИДЕО
Кто на самом деле это говорит. Аудио и видео решаются вместе, поэтому MLDM знает, кто рассказчик, кто говорит из-за кадра и чьи губы должны двигаться. Губы следуют за новыми словами в каждой реплике; мимика и жесты следуют за ними, когда этого требует подача или культура.

ВЫБОР, КОТОРЫЙ ВЫ ВИДИТЕ

ТЕКСТ
СЕГОДНЯТам, где реплику можно передать по-разному, ваши креативные директора получают варианты с обоснованием каждого и выбирают один. В подкасте, серии или фильме таких фрагментов может быть много.
В РАЗРАБОТКЕ
АУДИО
СЕГОДНЯ
В РАЗРАБОТКЕВыбор того, что останется на языке оригинала. Кричалка, возглас или фраза могут звучать как в оригинале, если вы так решите.
ВИДЕО
СЕГОДНЯ
В РАЗРАБОТКЕВыбор другого лица, когда модель ошиблась с говорящим, и выбор того, какой текст в кадре переводить. Этот текст, будь то экран телефона, обложка книги, уличный указатель или вывеска магазина, будет написан в тех формулировках, которые вы уже выбрали; модель на ходу решает, что оставить как снято, будь то бренд, имя или сленг: пачка Tostitos останется Tostitos.

Почему модель одна?

ЦЕПОЧКА ИНСТРУМЕНТОВ

  • Распознавание речи, затем перевод, затем голос, затем липсинк, и каждый этап настроен отдельно.
  • Именно эта цепочка сделала машинный дубляж возможным.
  • Но каждый этап по-прежнему гадает без остальных, и ошибки накапливаются от этапа к этапу.

ОДНА ФУНДАМЕНТАЛЬНАЯ МОДЕЛЬ, ПЕРВАЯ В СВОЁМ РОДЕ

  • MLDM принимает решения вместе.
  • Перевод знает, под какой рот ему нужно лечь.
  • Голос знает, в какой сцене он звучит.
  • Человек не меняется.
++
Сначала перевод, затем весь дубляж за один проход: голос, губы и сцена выходят вместе, из одних и тех же решений.

Аудиовизуальный перевод сразу, без каскада: первый в своём роде. Именно это делает MLDM первой фундаментальной моделью для мультимодального перевода: одна модель переносит слова, голос, губы и сцену на новый язык, всё сразу. Путь к высокому качеству сегодня вспомогательный: команда VFX-художников и недели на каждый проект, а каждый язык становится новым проектом. Инструменты, которые сегодня работают за один проход, быстры и жертвуют всем остальным. Familiar работает за один проход и сохраняет качество.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Чем локализация отличается от перевода?

Перевод касается слов. Локализация касается того, что из них нужно культуре.

Правильная терминология, сленг, имена в исходном звучании, замена отсылки на знакомую зрителю, то, чего избегают в этой культуре, подходящий уровень ненормативной лексики. MLDM решает всё это, а со временем и картинку, когда её нужно изменить.

Является ли MLDM генеративным ИИ?

Нет. IBM определяет его так:

Генеративный ИИ, иногда называемый gen AI, представляет собой искусственный интеллект (ИИ), способный создавать оригинальный контент, такой как текст, изображения, видео, аудио или программный код, в ответ на промпт или запрос пользователя.
IBM, What is generative AI?

Это сильный инструмент для создания нового. У MLDM нет промпта, и ничего нового не выдумывается: модель решает, как локализовать то, что уже есть. Полная позиция изложена в статьях Почему Familiar не традиционный генеративный ИИ и Перевод не генерация.

Чьи это решения?

Ваши. Каждое решение, которое принимает MLDM, записывается вместе с дубляжом в журнал решений.

  1. СЕГОДНЯ

    Ваши креативные директора проверяют решения по переводу.

    Варианты с обоснованием каждого; директора выбирают один до того, как что-либо выйдет.
  2. СЕГОДНЯ

    Список «Не переводить» и контекст одной строкой идут вместе с задачей.

  3. В РАЗРАБОТКЕ

    Решения по аудио и видео на той же проверке.

  4. В РАЗРАБОТКЕ

    Память решений.

    Изменение, запомненное для автора, применяется первым при следующем дубляже, так что выбор, сделанный один раз, переходит в следующую серию.

Полная история в статье Журнал решений; планируемый API описан в документации по решениям.

ВОПРОСЫ

Как расшифровывается MLDM?

MLDM означает Multimodal Localization Decision Model, мультимодальная модель принятия решений о локализации: новая парадигма, первая в своём роде, одна модель, которая решает, что и как локализовать в тексте, аудио и видео. Она выбирает вариант перевода реплики, что переводить в аудио, кто в кадре говорит и как за этим следуют губы, мимика и жесты.

Можно ли считать MLDM видеомоделью?

Не в привычном смысле. MLDM работает с уже существующим материалом и решает, как его локализовать: слова, голос, губы и мимику. Человек в кадре остаётся в точности собой на каждом языке.

Создаёт ли MLDM новые кадры?

Нет. Промпта нет, и ничего нового не выдумывается. MLDM решает, как локализовать то, что уже есть: актёр, тайминг и сцена остаются, а слова, голосовая дорожка и губы меняются под новый язык.

Что MLDM решает в аудио?

Что вообще переводить. Модель находит главный голос и переносит его на новый язык собственным голосом говорящего. Смех, толпа, крик и говорящий на заднем плане, которого не разобрать, остаются как были.

Меняет ли MLDM мимику?

Когда этого требует подача или культура. Губы следуют за новыми словами в каждой реплике; мимика и жесты следуют, когда реплика на новом языке звучит иначе. Человек остаётся в точности собой.

Переводит ли MLDM текст на экране?

Пока нет. Текст в кадре, например экран телефона, обложка книги, уличный указатель или вывеска магазина, сейчас интегрируется и будет написан в тех формулировках, которые вы уже выбрали; модель на ходу решает, что оставить как снято, будь то бренд, имя или сленг: пачка Tostitos останется Tostitos. Сегодня локализуются слова, голос, губы, мимика и жесты.

Можно ли изменить решение, принятое моделью?

Да. Каждое решение записывается в задачу дубляжа, и его можно изменить. Сегодня ваши креативные директора выбирают между вариантами перевода, у каждого есть обоснование, а выбор, сделанный один раз, переходит в следующую серию.

Показывает ли модель свой выбор в аудио и видео?

Варианты перевода видны уже сегодня. Выбор в аудио, например что останется на языке оригинала, и выбор в видео, например другое лицо или то, какой текст в кадре переводить, в разработке.

ИСТОЧНИКИ

  1. [1]IBM, What is generative AI?, прочитано 27 октября 2026
  2. [2]Наша миссия
  3. [3]Вопросы и ответы Familiar

МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД

Familiar Labs создаёт дубляж нового поколения на основе мультимодальной модели принятия решений о локализации (MLDM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 8 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия

Смотреть полный бенчмарк →Связаться с командой