КОНТРОЛЬ

Журнал решений: как креативные директора управляют MLDM

FAMILIAR ИССЛЕДОВАНИЯОБНОВЛЕНО ВСЕ СТАТЬИ

АННОТАЦИЯ

MLDM: первая фундаментальная модель для мультимодального перевода, новая парадигма, первая в своём роде. Каждое решение модели записывается вместе с дубляжом: вы его читаете, меняете и сохраняете выбор для следующей серии. Решения по переводу проверяются уже сегодня; решения по аудио и видео в разработке.
ПЕРВАЯ ФУНДАМЕНТАЛЬНАЯ МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕВОДА

Решения, которыми вы управляете сегодня

  1. 01

    Первым приходит перевод.

  2. 02

    Там, где реплику можно передать по-разному, шаг проверки возвращает три варианта, каждый под свой посыл и свою эмоцию, с обоснованием каждого.

  3. 03

    Ваши креативные директора выбирают один или пишут свой, а затем запускают рендер.

Та же проверка охватывает решения по локализации, и первое из них касается того, что не переводить: сленг как есть, имя и бренд без изменений, замена отсылки на знакомую зрителю, то, чего избегают в этой культуре, и смягчение ненормативной лексики для более юной аудитории.

Игра слов, с корейского на английский

Фраза «사과하려고 사과 사 왔어.» держится на том, что 사과 значит и «извинение», и «яблоко». Возвращаются три варианта:

  • "Apples. I'm sorry, right down to the core." Игра слов сохранена.
  • "I came to say sorry. I brought apples." Только смысл.
  • "An apple a day keeps the silent treatment away." Новая шутка.

Креативный директор выбрал первый вариант и доработал его.

Подкол, с китайского на английский

Фраза «你可真行啊。» звучит как похвала или как подкол, в зависимости от сцены:

  • "Wow. You're incredible." Искренне.
  • "Well, aren't you something." С сарказмом; выбран этот вариант.
  • "Look at you, hotshot." С подколом.

В подкасте, серии или фильме таких фрагментов много: шутки, диалоги, истории.

Решения по аудио

MLDM решает, что вообще переводить. Модель находит главный голос, переносит его на новый язык собственным голосом говорящего, а остальное оставляет как было. Показ вашей команде каждого спорного решения в аудио в разработке.

Что остаётся на языке оригинала: кричалка на стадионе, оставленная на корейском; окрик через всю кухню; коронная фраза, которую знают фанаты. Говорящий на заднем плане, которого не разобрать, остаётся как был или возвращается к вам как выбор, переводить ли его всё-таки.

Решения по видео

В РАЗРАБОТКЕ

КТО НА САМОМ ДЕЛЕ ЭТО ГОВОРИТ
ЧТО ЗАПИСЫВАЕТСЯЛицо, из уст которого звучит реплика, рассказчик, голос из-за кадра.
ЧТО ВЫ МОЖЕТЕ СДЕЛАТЬЕсли модель ошиблась с говорящим, вы выбираете лицо из кандидатов, и губы двигаются у нужного человека.
ТЕКСТ В КАДРЕ
ЧТО ЗАПИСЫВАЕТСЯЭкран телефона с надписью 내일 봐, уличный указатель, вывеска магазина, а также то, что модель на ходу оставила как снято: бренд на пачке Tostitos, имя.
ЧТО ВЫ МОЖЕТЕ СДЕЛАТЬКаждый элемент пишется в тех формулировках, которые вы уже выбрали, например "See you tomorrow", или остаётся как снято.
МИМИКА И ЖЕСТЫ
ЧТО ЗАПИСЫВАЕТСЯСледуют за подачей новой реплики или за культурой.
ЧТО ВЫ МОЖЕТЕ СДЕЛАТЬПоднятую бровь, которую новая аудитория прочтёт иначе, можно оставить как снято.

Записано вместе с дубляжом

Именно журнал делает MLDM новой парадигмой, первой в своём роде: моделью, которая показывает свои решения.

++
Журнал решений, который сейчас в разработке, хранит каждое решение с вариантами, обоснованием, тем, что было выбрано, и тем, кто выбрал: модель, вы или память.

Он открыт на этапе проверки и закрывается при рендере. Измените решение в уже поставленном дубляже и запустите рендер снова; заново рендерятся только затронутые языки. Дубляж с review=auto тоже пишет журнал, с выбором модели. Сам дубляж делается за один проход из этих решений: голос, губы и сцена вместе. Инструменты, которые сегодня работают за один проход, устроены наоборот: загрузили один раз и получили то, что получилось. Путь к высокому качеству сохраняет контроль вручную: вспомогательный инструмент, команда VFX-художников и недели на каждый проект. Familiar работает за один проход и сохраняет качество.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Выбор, сделанный один раз, переходит в следующую серию

  1. СЕГОДНЯ

    Уже сегодня работают два постоянных решения.

    Список «Не переводить» сохраняет фразу как есть, а контекст даёт вводную в одну строку; оба задаются до дубляжа. Журнал хранит решения, которые модель приняла во время дубляжа.
  2. В РАЗРАБОТКЕ

    Память решений.

    Запомните изменение для автора, будь то шоу, канал или человек, и следующий дубляж применит его первым, когда вернётся та же реплика, термин, имя, кричалка, вывеска или лицо. Коронная фраза, оставленная на языке оригинала, перейдёт во вторую серию без повторной проверки.

На экране проверки и в API

В разработке: на экране проверки появится панель решений. На таймлайне серии стоит метка для каждого решения, с фильтром по переводу, аудио или видео; каждая карточка показывает момент, варианты с обоснованием и подсвеченный выбор модели. Одним касанием можно выбрать другой вариант, ввести свой, оставить оригинал или запомнить выбор для этого автора.

API возвращает тот же журнал, поэтому выбор, сделанный на экране, виден в API, и наоборот. Планируемые возможности, все в разработке:

GET /v1/dubs/{dub_id}/decisions
ЧТО ДЕЛАЕТЧитает журнал.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
ЧТО ДЕЛАЕТМеняет одно решение.
decisions.*
ЧТО ДЕЛАЕТНастройки нового дубляжа задают, сколько вариантов перевода вернётся, уровень ненормативной лексики и какие решения вернутся к вам.
dub.decisions_ready
ЧТО ДЕЛАЕТВебхук срабатывает, когда журнал открыт.
decisions.json
ЧТО ДЕЛАЕТСодержит полный журнал в каждом поставленном дубляже.

Справочник находится в разделе Decisions; сегодняшний шаг проверки описан в разделе Transcript & review.

ВОПРОСЫ

Какие решения можно изменить уже сегодня?

Решения по переводу. Реплика, которую можно передать по-разному, возвращается в трёх вариантах, у каждого есть обоснование; ваши креативные директора выбирают один или пишут свой, а затем запускают рендер. Решения по аудио и видео в разработке.

Можно ли оставить кричалку на языке оригинала?

Этот выбор в разработке. Кричалка на стадионе, крик или коронная фраза будут возвращаться как решение по аудио, которое можно оставить на исходном языке, и этот выбор сможет перейти в следующую серию.

Что, если модель выбрала не то лицо?

Выбор другого лица в разработке. Реплика будет возвращаться с лицами-кандидатами; вы выбираете нужного говорящего, и губы двигаются у этого человека.

Переходит ли выбор в следующую серию?

Память решений в разработке: изменение, запомненное для автора, применяется первым при следующем дубляже. Уже сегодня список «Не переводить» и контекст действуют во всех дубляжах, для которых вы их задали.

Записываются ли решения при review=auto?

Да. В планируемом журнале дубляж, отрендеренный без проверки, всё равно записывает каждое решение с выбором модели, и его можно прочитать после рендера. Вы можете изменить решение и запустить рендер снова.

Это генеративный ИИ?

Нет. MLDM: новая парадигма, первая в своём роде. Промпта нет, и ничего нового не выдумывается: модель решает, как локализовать то, что уже есть, и показывает вам эти решения.

ИСТОЧНИКИ

  1. [1]Что такое мультимодальная модель принятия решений о локализации (MLDM)?
  2. [2]API: Decisions
  3. [3]API: Transcript & review

МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД

Familiar Labs создаёт дубляж нового поколения на основе мультимодальной модели принятия решений о локализации (MLDM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 8 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия