Що фундаментальна модель для мультимодального перекладу означає для студій і платформ

01. Що фундаментальна модель змінює в дубляжі?

Раніше машинний дубляж був каскадом окремих інструментів: транскрипція, потім переклад, потім голос, потім ліпсинк. Кожен етап вгадував, не знаючи про інші, і помилки переходили з етапу на етап. Те, з чим покупець стикається сьогодні, жертвує або якістю, або часом. Допоміжні інструменти досягають якості з командою VFX-художників: тижні на кожен проєкт, а кожна мова означає новий проєкт. Інструменти, які працюють за один прохід, швидкі, але жертвують усім іншим: переклад не можна відредагувати, голос утрачає схожість, музика й атмосфера приміщення зникають, а губи збиваються, щойно в кадрі з'являється рука перед обличчям, мікрофон, розмиття, боке, бічний ракурс або кілька людей. Ні просторового мислення, ні розуміння світу, ні контролю. Familiar замінює ланцюжок однією мультимодальною моделлю рішень щодо локалізації (MLDM): і один прохід, і якість.

++

Спершу переклад, потім дубляж за один прохід: голос, губи й сцена разом.

Аудіовізуальний переклад водночас, а не каскадом: перший у своєму роді. Визначення у статті Перша фундаментальна модель для мультимодального перекладу; порівняння з каскадом, крок за кроком, у статті Аудіовізуальний переклад водночас, а не каскадом.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Чи може одне завантаження охопити всі наші ринки збуту?

Так. Матеріал будь-якою з 99 мов джерела завантажується один раз, а дубляж виходить будь-якою з 30 мов на виході, які ви замовили: усі мови з одного завантаження, і кожна несе ту саму гру. Сезон, бібліотека чи потік вертикальних серій ідуть тим самим шляхом, а терміни, задані один раз, переходять і на наступну серію.

Повний людський дубляж, переклад плюс озвучення, коштує від $70 до $150 за готову хвилину. За такої ціни він недоступний для більшої частини світу. Навіть топові продакшни дублюють лише кількома мовами через вартість, людей і час, якого це потребує.

Саме цю прогалину закриває Familiar. Не «генеративний ШІ», а переклад на допомогу творцям. MLDM бере на себе рутину. Від людини до людини, щоб охопити ширшу аудиторію.

03. Хто вирішує, як репліка прозвучить іншою мовою?

MLDM вирішує, що локалізувати і як, у тексті, звуці та зображенні. Ваша команда й далі керує рішеннями, що мають значення. Першим іде переклад, і там, де репліку можна прочитати по-різному, ваші креативні директори бачать варіанти й обґрунтування до кожного, перш ніж щось дублюватимуть.

Кожне рішення зберігається разом із завданням, і будь-яке з них ви можете змінити. Уся історія у статті Журнал рішень: як креативні директори керують MLDM. Що ж до самих слів, переклад врівень з експертними перекладачами-людьми: 100.3% їхньої якості, виміряно в бенчмарку.

04. Що повертається разом із готовим дубляжем?

Матеріали, які ваша постпродакшн-команда може одразу вставити в реліз, за специфікацією, якої вимагає стримінговий сервіс. Звук сцени лишається таким, як був: музика, атмосфера й сміх зберігаються, і лише мовлення змінює мову.

Субтитри будуються з перевіреного перекладу й нарізані за правилами Timed Text Style Guide від Netflix, шаблонного стандарту субтитрів, за яким працює галузь. Усі файли й формати перелічено в документації про результати.

05. Де обробляється наш матеріал?

Неопублікований матеріал студія береже найбільше. Кожен дубляж обробляється на власному кластері Familiar із GPU NVIDIA B300 вартістю в десятки мільйонів доларів у Торонто (Канада), на обчислювальних потужностях, які належать Familiar.

Шлях дубляжу й відповіді для вашої перевірки безпеки зібрано в документації про приватний інференс.

06. Що доступно сьогодні, а що в розробці?

1. СЬОГОДНІ

   Усі мови з одного завантаження, з власним голосом і губами актора.

   30 мов на виході, 99 мов джерела на вході; до 4K, справжній мікс 5.1 або стерео, субтитри.
2. СЬОГОДНІ

   Ваші креативні директори перевіряють рішення щодо перекладу.

   Варіанти з обґрунтуванням до кожного, збережені разом із завданням.
3. У РОЗРОБЦІ

   Рішення щодо звуку й зображення на тому самому екрані перевірки.

   Що звучатиме мовою оригіналу, інше обличчя, який текст у кадрі перекладати.
4. У РОЗРОБЦІ

   Лайв-дубляж.

Доступ надається за контрактом Studio, під обсяг вашого каталогу: обговоріть із командою свої тайтли, мови й специфікацію постачання. Команда це PhD, які започаткували напрям спільних аудіовізуальних моделей людини: 22 статті, понад 10,000 цитувань, проф. Xu Zheng і проф. Youngjung Uh як радники, за підтримки Samsung, RedBird та Gold House. Дослідження зібрано в наших статтях і статті Першопрохідці мультимодального перекладу: від спільних аудіовізуальних досліджень до першої фундаментальної моделі; історія засновника на сторінці нашої місії.

ЗАПИТАННЯ