Перша фундаментальна модель для мультимодального перекладу

01. Що таке фундаментальна модель для мультимодального перекладу?

Відео каже більше, ніж його слова. Голос мовця, те, як рухаються його губи, сміх у залі й музика під сценою теж несуть зміст. Добре перекласти відео означає перенести все це й зберегти узгодженість: репліка має лягти на губи, голос має звучати в сцені, а людина на екрані має лишитися саме собою.

Фундаментальна модель для мультимодального перекладу це одна модель, що виконує всю цю роботу. Вона сприймає відзнятий матеріал як ціле й вирішує, як кожна його частина має прозвучати новою мовою. Familiar створила першу таку модель і називає її MLDM.

02. Чому дубляж досі йшов через окремі інструменти?

Людський дубляж завжди був недоступний для більшої частини світу. Навіть топові продакшни дублюють лише кількома мовами через вартість, людей і час; менші продакшни, шоу й вертикальні драми не дублюють узагалі. Повний людський дубляж, переклад плюс озвучення, коштує від $70 до $150 за готову хвилину.

03. Що змінюється, коли одна модель переносить усе водночас?

++

Аудіовізуальний переклад водночас, а не каскадом: перший у своєму роді.

Гра того самого актора доходить до глядача: його власний голос, губи, що рухаються в такт новим словам, його міміка і звук сцени довкола. Сміх, натовп і музика лишаються такими, як були. На тих самих кліпах YouTube мав на 232.6% більше помилок у фоновому звуці, ніж Familiar. Що ж до самих слів, переклад врівень із першим проходом експерта-професіонала: 100.3% його якості. Повні цифри у бенчмарку.

Змінюється й робота довкола дубляжу. Шлях до високої якості сьогодні допоміжний: команда VFX-художників тижнями працює кадр за кадром, а кожна мова означає новий проєкт. Інструменти, які вже сьогодні працюють за один прохід, швидкі, але жертвують усім іншим: переклад не можна відредагувати, музика й атмосфера приміщення зникають, а губи збиваються на звичайних кадрах, де є рука перед обличчям, мікрофон, розмиття, боке, бічний ракурс або кілька людей. Ні просторового мислення, ні розуміння світу. Familiar дає і один прохід, і якість: одне завантаження переносить відео в усі обрані вами мови водночас, а рішення узгоджені, бо їх ухвалює одна модель, тож нічого не доводиться зшивати докупи вручну.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Що вирішує MLDM, а що обираєте ви?

Мультимодальна модель рішень щодо локалізації і є самою моделлю. MLDM вирішує, що локалізувати і як, у тексті, звуці та зображенні. Повне визначення у статті Що таке мультимодальна модель рішень щодо локалізації (MLDM)?

1. СЬОГОДНІ

   Рішення щодо перекладу, які перевіряють ваші креативні директори.

   Кожне рішення зберігається разом із завданням. Будь-яке з них ви можете змінити.
2. У РОЗРОБЦІ

   Рішення щодо звуку й зображення на тому самому екрані перевірки.

3. У РОЗРОБЦІ

   Текст у кадрі та лайв-дубляж.

   Екран телефона чи вуличний покажчик, написані в термінах, які ви вже обрали; бренд чи ім'я лишаються як знято, і це вирішується на льоту: пачка Tostitos лишиться Tostitos.

Журнал цих рішень описано у статті Журнал рішень: як креативні директори керують MLDM.

05. Що студія отримує від фундаментальної моделі?

MLDM бере на себе рутину. Творчі рішення лишаються за людьми, які створили твір; решту модель переносить в усі мови водночас.

Кожен дубляж обробляється на цьому кластері, його не обробляє жоден сторонній провайдер інференсу, тож витоку ваших матеріалів не станеться. Подробиці в документації про приватний інференс і документації про результати. За цим стоять PhD, які започаткували напрям спільних аудіовізуальних моделей людини: 22 статті, понад 10,000 цитувань, проф. Xu Zheng і проф. Youngjung Uh як радники, за підтримки Samsung, RedBird та Gold House. Статті зібрано в розділі наші дослідження.

06. Чи є фундаментальна модель для перекладу генеративним ШІ?

Не в традиційному розумінні. IBM визначає генеративний ШІ так:

Це потужний інструмент, щоб створювати нове. У MLDM немає промпту, і нічого нового не вигадується: вона переносить те, що вже є, в іншу мову. Не «генеративний ШІ», а переклад на допомогу творцям. Від людини до людини, щоб охопити ширшу аудиторію.

Інші статті цієї серії: Аудіовізуальний переклад водночас, а не каскадом, Що фундаментальна модель для мультимодального перекладу означає для студій і платформ і Першопрохідці мультимодального перекладу: від спільних аудіовізуальних досліджень до першої фундаментальної моделі.

ЗАПИТАННЯ