Що таке мультимодальна модель рішень щодо локалізації (MLDM)?

FAMILIAR · ДОСЛІДЖЕННЯ2026-10-27ОНОВЛЕНО 2026-11-01ВСІ СТАТТІ

АНОТАЦІЯ

Перша фундаментальна модель для мультимодального перекладу, нова парадигма, перша у своєму роді. MLDM це одна модель, яка вирішує, що локалізувати і як, у тексті, звуці та зображенні, і показує вам варіанти, які мають значення. Спершу переклад, потім дубляж за один прохід: голос, губи й сцена разом. Рішення узгоджені, бо їх ухвалює одна модель. Людина не змінюється.

ПЕРША ФУНДАМЕНТАЛЬНА МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕКЛАДУАУДІОВІЗУАЛЬНИЙ ПЕРЕКЛАД ВОДНОЧАС, А НЕ КАСКАДОМ

Що вирішує MLDM?

ТЕКСТ

Який варіант перенесе репліку в нову мову. MLDM зважує кілька варіантів перекладу й обирає найкращий: у жарті, історії чи репліці в розмові одне слово змінює задум і емоцію. Ті самі рішення охоплюють терміни, те, що не перекладати, сленг, залишений як є, збережені ім'я та бренд, відсилку, замінену на ту, яку знає аудиторія, те, чого уникає культура, і пом'якшену лайку у версії для молодшої аудиторії.

ЗВУК

Що взагалі перекладати. MLDM чує все на доріжці: сміх, натовп, вигук, мовця на задньому плані, якого ніхто не розбере. Вона знаходить головний голос, переносить його в нову мову власним голосом мовця, а решту лишає такою, як була.

ЗОБРАЖЕННЯ

Хто насправді це говорить. Звук і зображення вирішуються разом, тож MLDM знає, хто веде розповідь, хто звучить за кадром і чиї губи мають рухатися. Губи йдуть за новими словами в кожній репліці; міміка й жести підлаштовуються тоді, коли цього вимагає наголос чи культура.

ВАРІАНТИ, ЯКІ ВИ БАЧИТЕ

ТЕКСТ

СЬОГОДНІТам, де репліку можна прочитати по-різному, ваші креативні директори отримують варіанти перекладу з обґрунтуванням до кожного й обирають один. У подкасті, серії чи фільмі таких фрагментів може бути чимало.

У РОЗРОБЦІ

ЗВУК

СЬОГОДНІ

У РОЗРОБЦІВибір того, що звучатиме мовою оригіналу. Скандування, крик чи фраза можуть лишитися як є, коли ви цього хочете.

ЗОБРАЖЕННЯ

СЬОГОДНІ

У РОЗРОБЦІВибір іншого обличчя, коли модель обрала не того мовця, і вибір того, який текст у кадрі перекладати. Цей текст, екран телефона, обкладинка книжки, вуличний покажчик, вивіска крамниці, писатиметься в термінах, які ви вже обрали; модель на льоту вирішуватиме, що лишити як знято, бренд, ім'я, сленг: пачка Tostitos лишиться Tostitos.

Чому одна модель?

ЛАНЦЮЖОК ІНСТРУМЕНТІВ

Розпізнавання мовлення, потім переклад, потім голос, потім ліпсинк, і кожен етап налаштовано окремо.
Саме такий ланцюжок зробив машинний дубляж можливим.
Але кожен етап і далі вгадує, не знаючи про інші, тож помилки накопичуються від етапу до етапу.

ОДНА ФУНДАМЕНТАЛЬНА МОДЕЛЬ, ПЕРША У СВОЄМУ РОДІ

MLDM ухвалює рішення разом.
Переклад знає, під які губи йому треба лягти.
Голос знає, в якій сцені він звучить.
Людина не змінюється.

Спершу переклад, потім дубляж за один прохід: голос, губи й сцена виходять разом, з тих самих рішень.

Аудіовізуальний переклад водночас, а не каскадом: перший у своєму роді. Саме це робить MLDM першою фундаментальною моделлю для мультимодального перекладу: одна модель переносить слова, голос, губи й сцену в нову мову водночас. Шлях до високої якості сьогодні допоміжний: команда VFX-художників і тижні роботи на кожен проєкт, а кожна мова означає новий проєкт. Інструменти, які вже сьогодні працюють за один прохід, швидкі, але жертвують усім іншим. Familiar дає і один прохід, і якість.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Чим локалізація відрізняється від перекладу?

Переклад це слова. Локалізація це те, чого культура від них потребує.

Правильні терміни, сленг, імена, збережені як є, відсилка, замінена на ту, яку знає аудиторія, те, чого ця культура уникає, доречний рівень лайки. MLDM вирішує все це, а згодом і зображення, коли його доведеться змінити.

Чи є MLDM генеративним ШІ?

Ні. IBM визначає його так:

Генеративний ШІ, який іноді називають gen AI, це штучний інтелект (ШІ), здатний створювати оригінальний контент, як-от текст, зображення, відео, аудіо чи програмний код, у відповідь на промпт або запит користувача.

IBM, What is generative AI?

Це потужний інструмент, щоб створювати нове. У MLDM немає промпту, і нічого нового не вигадується: вона вирішує, як локалізувати те, що вже є. Повна позиція викладена в статтях Чому Familiar не є генеративним ШІ в традиційному розумінні і Переклад не є генерацією.

Чиї це рішення?

Ваші. Кожне рішення, яке ухвалює MLDM, зберігається разом із дубляжем, у журналі рішень.

СЬОГОДНІ
Ваші креативні директори перевіряють рішення щодо перекладу.
Варіанти з обґрунтуванням до кожного; вони обирають один, перш ніж щось вийде.
СЬОГОДНІ
Список «Не перекладати» й контекст одним реченням ідуть разом із завданням.
У РОЗРОБЦІ
Рішення щодо звуку й зображення на тому самому екрані перевірки.
У РОЗРОБЦІ
Пам'ять рішень.
Зміна, яку запам'ятано для креатора, першою застосовується до наступного дубляжу, тож вибір, зроблений один раз, переходить і на наступну серію.

Уся історія у статті Журнал рішень: як креативні директори керують MLDM; запланований API описано в документації щодо рішень.

ЗАПИТАННЯ

Що означає MLDM?

MLDM означає Multimodal Localization Decision Model, мультимодальна модель рішень щодо локалізації, нова парадигма, перша у своєму роді: одна модель, яка вирішує, що локалізувати і як, у тексті, звуці та зображенні. Вона обирає варіант репліки, що перекладати у звуці, хто на екрані говорить і як за цим підлаштовуються губи, міміка й жести.

Чи є MLDM відеомоделлю?

Не в звичному сенсі. MLDM працює з уже знятим матеріалом і вирішує, як його локалізувати: слова, голос, губи й міміку. Людина на екрані лишається саме собою, хоч якою мовою.

Чи створює MLDM нові кадри?

Ні. Промпту немає, і нічого нового не вигадується. MLDM вирішує, як локалізувати те, що вже є: актор, таймінг і сцена лишаються, а слова, голосова доріжка й губи змінюються під нову мову.

Що MLDM вирішує у звуці?

Що взагалі перекладати. Вона знаходить головний голос і переносить його в нову мову власним голосом мовця. Сміх, натовп, вигук і мовець на задньому плані, якого ніхто не розбере, лишаються такими, як були.

Чи змінює MLDM міміку?

Тоді, коли цього вимагає наголос чи культура. Губи йдуть за новими словами в кожній репліці; міміка й жести підлаштовуються, коли репліка новою мовою звучить інакше. Людина лишається саме собою.

Чи перекладає MLDM текст на екрані?

Поки що ні. Текст у кадрі, як-от екран телефона, обкладинка книжки, вуличний покажчик чи вивіска крамниці, саме зараз інтегрується й писатиметься в термінах, які ви вже обрали; модель на льоту вирішуватиме, що лишити як знято, бренд, ім'я, сленг: пачка Tostitos лишиться Tostitos. Сьогодні локалізуються слова, голос, губи, міміка й жести.

Чи можна змінити рішення, яке ухвалила модель?

Так. Кожне рішення зберігається разом із завданням, і ви можете його змінити. Уже сьогодні ваші креативні директори обирають серед варіантів перекладу, кожен з обґрунтуванням, а вибір, зроблений один раз, переходить і на наступну серію.

Чи показує модель свої варіанти у звуці й відео?

Варіанти перекладу показано вже сьогодні. Варіанти у звуці, як-от що звучатиме мовою оригіналу, і варіанти в зображенні, як-от вибір іншого обличчя чи того, який текст у кадрі перекладати, у розробці.

ДЖЕРЕЛА

Мультимодальний переклад

Familiar Labs створює дубляж нового покоління за допомогою мультимодальної моделі рішень щодо локалізації (MLDM), першої фундаментальної моделі для мультимодального перекладу: одна модель вирішує, що локалізувати в тексті, звуці та зображенні, і показує вам варіанти. Ваш голос і губи, перенесені в нові мови. Команда з 8 людей зі ступенями PhD, за підтримки Samsung, RedBird та Gold House. Наша місія

Переглянути повний бенчмарк →Зв'язатися з командою