КОНТРОЛЬ

Журнал рішень: як креативні директори керують MLFM

FAMILIAR LABS · ДОСЛІДЖЕННЯОНОВЛЕНО ВСІ СТАТТІ
ЧИТАТИ МОВОЮEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнськаHrvatskiLietuviųSlovenčinaSvenskaБългарскиDanskLatviešu

АНОТАЦІЯ

MLFM це перша фундаментальна модель для мультимодального перекладу, нова парадигма, перша у своєму роді. Кожне рішення, яке вона ухвалює, зберігається разом із дубляжем: ви його читаєте, змінюєте й зберігаєте вибір на наступну серію. Рішення щодо перекладу перевіряють уже сьогодні; рішення щодо звуку й зображення в розробці.
ПЕРША ФУНДАМЕНТАЛЬНА МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕКЛАДУ

Рішення, якими ви керуєте вже сьогодні

  1. 01

    Першим повертається переклад.

  2. 02

    Там, де репліку можна прочитати по-різному, етап перевірки повертає три варіанти перекладу, кожен під інший намір і емоцію, з обґрунтуванням до кожного.

  3. 03

    Ваші креативні директори обирають один або пишуть свій, а потім запускають рендер.

Та сама перевірка охоплює й рішення щодо локалізації, і насамперед те, що не перекладати: сленг лишається як є, ім'я та бренд зберігаються, відсилка змінюється на ту, яку знає аудиторія, враховано те, чого уникає ця культура, а лайку пом'якшено у версії для молодшої аудиторії.

Каламбур, з корейської на англійську

«사과하려고 사과 사 왔어.» тримається на тому, що 사과 означає і «вибачення», і «яблуко». Повертаються три варіанти:

  • "Apples. I'm sorry, right down to the core." Каламбур збережено.
  • "I came to say sorry. I brought apples." Лише зміст.
  • "An apple a day keeps the silent treatment away." Новий жарт.

Креативний директор обрав перший і відредагував його.

Шпилька, з китайської на англійську

«你可真行啊。» залежно від сцени звучить як похвала або як шпилька:

  • "Wow. You're incredible." Щиро.
  • "Well, aren't you something." Саркастично, саме цей обрали.
  • "Look at you, hotshot." Жартома.

У подкасті, серії чи фільмі таких фрагментів чимало: жарти, розмови, історії.

Рішення щодо звуку

MLFM вирішує, що взагалі перекладати. Вона знаходить головний голос, переносить його в нову мову власним голосом мовця, а решту лишає такою, як була. Показ вашій команді кожного неочевидного рішення у звуці в розробці.

Що звучатиме мовою оригіналу: скандування на стадіоні, що лишається корейською; крик через усю кухню; фірмова фраза, яку знають фанати. Мовець на задньому плані, якого ніхто не розбере, лишається таким, як був, або повертається як вибір: усе-таки перекласти.

Рішення щодо зображення

У РОЗРОБЦІ

ХТО НАСПРАВДІ ЦЕ ГОВОРИТЬ
ЩО ЗБЕРІГАЄТЬСЯОбличчя, з якого лунає репліка, оповідач, голос за кадром.
ЩО ВИ МОЖЕТЕ ЗРОБИТИКоли модель обирає не того мовця, ви обираєте обличчя серед кандидатів, і губи рухаються в потрібної людини.
ТЕКСТ У КАДРІ
ЩО ЗБЕРІГАЄТЬСЯЕкран телефона з написом 내일 봐, вуличний покажчик, вивіска крамниці, а також те, що модель на льоту лишила як знято: бренд на пачці Tostitos, ім'я.
ЩО ВИ МОЖЕТЕ ЗРОБИТИКожен такий напис пишеться в термінах, які ви вже обрали, як-от "See you tomorrow", або лишається як знято.
МІМІКА Й ЖЕСТИ
ЩО ЗБЕРІГАЄТЬСЯВони йдуть за наголосом нової репліки чи за культурою.
ЩО ВИ МОЖЕТЕ ЗРОБИТИПідняту брову, яку нова аудиторія прочитає інакше, можна лишити як знято.

Зберігається разом із дубляжем

Саме журнал робить MLFM новою парадигмою, першою у своєму роді: моделлю, що показує свої рішення.

++
Журнал рішень, що зараз у розробці, містить кожне рішення з варіантами, обґрунтуванням, тим, що обрано, і ким: моделлю, вами чи пам'яттю.

Він відкритий під час перевірки й фіксується під час рендеру. Змініть рішення у вже зданому дубляжі й запустіть рендер знову; повторно рендеряться лише ті мови, яких воно стосується. Дубляж із review=auto однаково записує журнал, із вибором моделі. Сам дубляж робиться за один прохід на основі цих рішень: голос, губи й сцена разом. Інструменти, які вже сьогодні працюють за один прохід, діють навпаки: завантажуєте один раз і отримуєте те, що вийшло. Шлях до високої якості натомість зберігає контроль вручну: допоміжний інструмент, команда VFX-художників і тижні роботи на кожен проєкт. Familiar Labs дає і один прохід, і якість.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar Labs is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR LABS CLOSER TO THE REAL SPEAKER

FAMILIAR LABS · ONE SHOT AND THE QUALITYFamiliar Labs vs Flawless TrueSync The ElevenLabs study The demos

Вибір, зроблений один раз, переходить на наступну серію

  1. СЬОГОДНІ

    Два постійні рішення працюють уже сьогодні.

    «Не перекладати» лишає фразу як є, а «Контекст» дає вступ одним реченням; обидва ви задаєте до дубляжу. Журнал містить рішення, які модель ухвалила під час нього.
  2. У РОЗРОБЦІ

    Пам'ять рішень.

    Запам'ятайте зміну для креатора, тобто одного шоу, каналу чи людини, і наступний дубляж застосує її першою, щойно повернеться та сама репліка, термін, ім'я, скандування, напис чи обличчя. Фірмова фраза мовою оригіналу перейде в серію 2 без повторної перевірки.

На екрані перевірки та в API

У розробці: на екрані перевірки з'явиться панель рішень. Таймлайн серії матиме позначку для кожного рішення з фільтром за перекладом, звуком чи зображенням; кожна картка показує момент, варіанти з обґрунтуванням і підсвічений вибір моделі. Одним дотиком можна обрати інший варіант, вписати свій, лишити оригінал або запам'ятати вибір для цього креатора.

API повертає той самий журнал, тож вибір, зроблений на екрані, видно в API, і навпаки. Запланована поверхня, уся в розробці:

GET /v1/dubs/{dub_id}/decisions
ЩО РОБИТЬЧитає журнал.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
ЩО РОБИТЬЗмінює одне рішення.
decisions.*
ЩО РОБИТЬНалаштування нового дубляжу задають, скільки варіантів перекладу повертається, рівень лайки і які рішення повертаються до вас.
dub.decisions_ready
ЩО РОБИТЬВебхук спрацьовує, коли журнал відкрито.
decisions.json
ЩО РОБИТЬМістить повний журнал у кожному зданому дубляжі.

Довідник у розділі Рішення; сьогоднішній етап перевірки описано в розділі Транскрипт і перевірка.

ЗАПИТАННЯ

Які рішення можна змінити вже сьогодні?

Рішення щодо перекладу. Репліка, яку можна прочитати по-різному, повертається у трьох варіантах, кожен з обґрунтуванням; ваші креативні директори обирають один або пишуть свій, а потім запускають рендер. Рішення щодо звуку й зображення в розробці.

Чи можна лишити скандування мовою оригіналу?

Такий вибір у розробці. Скандування на стадіоні, крик чи фірмова фраза повертатимуться як рішення щодо звуку, яке можна лишити мовою оригіналу, і цей вибір може перейти на наступну серію.

ДЖЕРЕЛА

  1. [1]Що таке фундаментальна модель мультимодальної локалізації (MLFM)?
  2. [2]API: Рішення
  3. [3]API: Транскрипт і перевірка

Мультимодальний переклад

Familiar Labs створює дубляж нового покоління за допомогою фундаментальної моделі мультимодальної локалізації (MLFM), першої фундаментальної моделі для мультимодального перекладу: одна модель вирішує, що локалізувати в тексті, звуці та зображенні, і показує вам варіанти. Ваш голос і губи, перенесені в нові мови. Команда з 7 людей зі ступенями PhD, за підтримки Samsung, RedBird та Gold House. Наша місія

Переглянути повний бенчмарк →Зв'язатися з командою