КОНТРОЛЬ

Журнал рішень: як креативні директори керують MLDM

FAMILIAR · ДОСЛІДЖЕННЯОНОВЛЕНО ВСІ СТАТТІ

АНОТАЦІЯ

MLDM це перша фундаментальна модель для мультимодального перекладу, нова парадигма, перша у своєму роді. Кожне рішення, яке вона ухвалює, зберігається разом із дубляжем: ви його читаєте, змінюєте й зберігаєте вибір на наступну серію. Рішення щодо перекладу перевіряють уже сьогодні; рішення щодо звуку й зображення в розробці.
ПЕРША ФУНДАМЕНТАЛЬНА МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕКЛАДУ

Рішення, якими ви керуєте вже сьогодні

  1. 01

    Першим повертається переклад.

  2. 02

    Там, де репліку можна прочитати по-різному, етап перевірки повертає три варіанти перекладу, кожен під інший намір і емоцію, з обґрунтуванням до кожного.

  3. 03

    Ваші креативні директори обирають один або пишуть свій, а потім запускають рендер.

Та сама перевірка охоплює й рішення щодо локалізації, і насамперед те, що не перекладати: сленг лишається як є, ім'я та бренд зберігаються, відсилка змінюється на ту, яку знає аудиторія, враховано те, чого уникає ця культура, а лайку пом'якшено у версії для молодшої аудиторії.

Каламбур, з корейської на англійську

«사과하려고 사과 사 왔어.» тримається на тому, що 사과 означає і «вибачення», і «яблуко». Повертаються три варіанти:

  • "Apples. I'm sorry, right down to the core." Каламбур збережено.
  • "I came to say sorry. I brought apples." Лише зміст.
  • "An apple a day keeps the silent treatment away." Новий жарт.

Креативний директор обрав перший і відредагував його.

Шпилька, з китайської на англійську

«你可真行啊。» залежно від сцени звучить як похвала або як шпилька:

  • "Wow. You're incredible." Щиро.
  • "Well, aren't you something." Саркастично, саме цей обрали.
  • "Look at you, hotshot." Жартома.

У подкасті, серії чи фільмі таких фрагментів чимало: жарти, розмови, історії.

Рішення щодо звуку

MLDM вирішує, що взагалі перекладати. Вона знаходить головний голос, переносить його в нову мову власним голосом мовця, а решту лишає такою, як була. Показ вашій команді кожного неочевидного рішення у звуці в розробці.

Що звучатиме мовою оригіналу: скандування на стадіоні, що лишається корейською; крик через усю кухню; фірмова фраза, яку знають фанати. Мовець на задньому плані, якого ніхто не розбере, лишається таким, як був, або повертається як вибір: усе-таки перекласти.

Рішення щодо зображення

У РОЗРОБЦІ

ХТО НАСПРАВДІ ЦЕ ГОВОРИТЬ
ЩО ЗБЕРІГАЄТЬСЯОбличчя, з якого лунає репліка, оповідач, голос за кадром.
ЩО ВИ МОЖЕТЕ ЗРОБИТИКоли модель обирає не того мовця, ви обираєте обличчя серед кандидатів, і губи рухаються в потрібної людини.
ТЕКСТ У КАДРІ
ЩО ЗБЕРІГАЄТЬСЯЕкран телефона з написом 내일 봐, вуличний покажчик, вивіска крамниці, а також те, що модель на льоту лишила як знято: бренд на пачці Tostitos, ім'я.
ЩО ВИ МОЖЕТЕ ЗРОБИТИКожен такий напис пишеться в термінах, які ви вже обрали, як-от "See you tomorrow", або лишається як знято.
МІМІКА Й ЖЕСТИ
ЩО ЗБЕРІГАЄТЬСЯВони йдуть за наголосом нової репліки чи за культурою.
ЩО ВИ МОЖЕТЕ ЗРОБИТИПідняту брову, яку нова аудиторія прочитає інакше, можна лишити як знято.

Зберігається разом із дубляжем

Саме журнал робить MLDM новою парадигмою, першою у своєму роді: моделлю, що показує свої рішення.

++
Журнал рішень, що зараз у розробці, містить кожне рішення з варіантами, обґрунтуванням, тим, що обрано, і ким: моделлю, вами чи пам'яттю.

Він відкритий під час перевірки й фіксується під час рендеру. Змініть рішення у вже зданому дубляжі й запустіть рендер знову; повторно рендеряться лише ті мови, яких воно стосується. Дубляж із review=auto однаково записує журнал, із вибором моделі. Сам дубляж робиться за один прохід на основі цих рішень: голос, губи й сцена разом. Інструменти, які вже сьогодні працюють за один прохід, діють навпаки: завантажуєте один раз і отримуєте те, що вийшло. Шлях до високої якості натомість зберігає контроль вручну: допоміжний інструмент, команда VFX-художників і тижні роботи на кожен проєкт. Familiar дає і один прохід, і якість.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Вибір, зроблений один раз, переходить на наступну серію

  1. СЬОГОДНІ

    Два постійні рішення працюють уже сьогодні.

    «Не перекладати» лишає фразу як є, а «Контекст» дає вступ одним реченням; обидва ви задаєте до дубляжу. Журнал містить рішення, які модель ухвалила під час нього.
  2. У РОЗРОБЦІ

    Пам'ять рішень.

    Запам'ятайте зміну для креатора, тобто одного шоу, каналу чи людини, і наступний дубляж застосує її першою, щойно повернеться та сама репліка, термін, ім'я, скандування, напис чи обличчя. Фірмова фраза мовою оригіналу перейде в серію 2 без повторної перевірки.

На екрані перевірки та в API

У розробці: на екрані перевірки з'явиться панель рішень. Таймлайн серії матиме позначку для кожного рішення з фільтром за перекладом, звуком чи зображенням; кожна картка показує момент, варіанти з обґрунтуванням і підсвічений вибір моделі. Одним дотиком можна обрати інший варіант, вписати свій, лишити оригінал або запам'ятати вибір для цього креатора.

API повертає той самий журнал, тож вибір, зроблений на екрані, видно в API, і навпаки. Запланована поверхня, уся в розробці:

GET /v1/dubs/{dub_id}/decisions
ЩО РОБИТЬЧитає журнал.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
ЩО РОБИТЬЗмінює одне рішення.
decisions.*
ЩО РОБИТЬНалаштування нового дубляжу задають, скільки варіантів перекладу повертається, рівень лайки і які рішення повертаються до вас.
dub.decisions_ready
ЩО РОБИТЬВебхук спрацьовує, коли журнал відкрито.
decisions.json
ЩО РОБИТЬМістить повний журнал у кожному зданому дубляжі.

Довідник у розділі Рішення; сьогоднішній етап перевірки описано в розділі Транскрипт і перевірка.

ЗАПИТАННЯ

Які рішення можна змінити вже сьогодні?

Рішення щодо перекладу. Репліка, яку можна прочитати по-різному, повертається у трьох варіантах, кожен з обґрунтуванням; ваші креативні директори обирають один або пишуть свій, а потім запускають рендер. Рішення щодо звуку й зображення в розробці.

Чи можна лишити скандування мовою оригіналу?

Такий вибір у розробці. Скандування на стадіоні, крик чи фірмова фраза повертатимуться як рішення щодо звуку, яке можна лишити мовою оригіналу, і цей вибір може перейти на наступну серію.

А якщо модель обрала не те обличчя?

Вибір іншого обличчя в розробці. Репліка повертатиметься з обличчями-кандидатами; ви обираєте правильного мовця, і губи рухаються саме в цієї людини.

Чи переходить вибір на наступну серію?

Пам'ять рішень у розробці: зміна, яку запам'ятано для креатора, першою застосовується до наступного дубляжу. Уже сьогодні «Не перекладати» і «Контекст» діють на всі дубляжі, для яких ви їх задали.

Чи записує review=auto рішення?

Так. У запланованому журналі дубляж, відрендерений без перевірки, однаково записує кожне рішення з вибором моделі, і його можна прочитати після рендеру. Ви можете змінити рішення й запустити рендер знову.

Це генеративний ШІ?

Ні. MLDM це нова парадигма, перша у своєму роді. Промпту немає, і нічого нового не вигадується: модель вирішує, як локалізувати те, що вже є, і показує вам ці рішення.

ДЖЕРЕЛА

  1. [1]Що таке мультимодальна модель рішень щодо локалізації (MLDM)?
  2. [2]API: Рішення
  3. [3]API: Транскрипт і перевірка

Мультимодальний переклад

Familiar Labs створює дубляж нового покоління за допомогою мультимодальної моделі рішень щодо локалізації (MLDM), першої фундаментальної моделі для мультимодального перекладу: одна модель вирішує, що локалізувати в тексті, звуці та зображенні, і показує вам варіанти. Ваш голос і губи, перенесені в нові мови. Команда з 8 людей зі ступенями PhD, за підтримки Samsung, RedBird та Gold House. Наша місія