Першопрохідці мультимодального перекладу: від спільних аудіовізуальних досліджень до першої фундаментальної моделі

01. Хто започаткував спільні аудіовізуальні моделі людини?

Дубляж тримається лише тоді, коли голос і обличчя лишаються однією людиною. Дослідники Familiar це PhD, які започаткували напрям спільних аудіовізуальних моделей людини: їхня стаття JAM-Flow на ECCV 2026 представляє першу спільну аудіовізуальну модель людини, де голос і обличчя людини, що говорить, розглянуто як одну задачу.

Ця робота охоплює все, що потрібно мультимодальному перекладу: спільні аудіовізуальні моделі людини, швидкі відеомоделі, редагування й мультимодальне сприйняття. Усі статті й конференції зібрано в нашому огляді досліджень. Причина особиста: An Zhu Liu, CEO, у дитинстві не міг розмовляти англійською з однокласниками й вивчив її з телевізора; цю історію розказано на сторінці нашої місії.

02. Чому дубляж ішов через окремі інструменти?

Бо кожну частину спершу розв'язували окремо. Машинний дубляж з'явився як ланцюжок, і саме цей ланцюжок узагалі зробив його можливим. Він же й задав межу, а інструменти, створені відтоді, досі жертвують або якістю, або часом. Допоміжні інструменти досягають якості з командою VFX-художників і тижнями роботи на кожен проєкт, а кожна мова означає новий проєкт. Інструменти, які працюють за один прохід, швидкі, але жертвують усім іншим: губи збиваються, щойно в кадрі з'являється рука перед обличчям, мікрофон, розмиття, боке, бічний ракурс або кілька людей; ні просторового мислення, ні розуміння світу. Familiar дає і один прохід, і якість.

++

Familiar це перша фундаментальна модель для мультимодального перекладу: одна модель, яка переносить слова, голос, губи й сцену в нову мову водночас.

Порівняння крок за кроком у статті Аудіовізуальний переклад водночас, а не каскадом; визначення у статті Перша фундаментальна модель для мультимодального перекладу.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Що тут означає «першопрохідці»?

Три речі, уперше разом. Перша: звук і зображення переносяться в нову мову водночас, однією моделлю, тож рішення узгоджені: голос належить самому акторові, губи йдуть за новими словами, а сміх, натовп і музика лишаються там, де були.

Друга: порядок. Спершу переклад, потім дубляж за один прохід: голос, губи й сцена разом. Слова узгоджено, і їх перевірили ваші креативні директори, ще до того, як щось озвучено.

Третя: журнал. Кожне рішення, яке ухвалює MLDM, зберігається разом із завданням, і будь-яке з них ви можете змінити. Повний опис у статті Журнал рішень: як креативні директори керують MLDM; що таке MLDM, у статті з визначенням.

04. Що вирішує модель, а що обираєте ви?

Результат досліджень стає продуктом, коли люди, які ним користуються, і далі керують процесом. MLDM бере на себе рутину. Творчі рішення лишаються за вами.

05. Що ще в розробці?

Бути першопрохідцем означає мати першу версію, а не останню. Вибір щодо перекладу відкритий уже сьогодні; решта журналу відкривається поетапно.

1. СЬОГОДНІ

   Ваші креативні директори перевіряють рішення щодо перекладу.

   Варіанти з обґрунтуванням до кожного; список «Не перекладати» й контекст одним реченням ідуть разом із завданням.
2. У РОЗРОБЦІ

   Рішення щодо звуку й зображення на тому самому екрані перевірки.

3. У РОЗРОБЦІ

   Текст у кадрі.

   Екран телефона, обкладинка книжки, вуличний покажчик, написані в термінах, які ви вже обрали; бренд чи ім'я лишаються як знято, і це вирішується на льоту: пачка Tostitos лишиться Tostitos.
4. У РОЗРОБЦІ

   Лайв-дубляж.

06. Що це змінює для людей на екрані?

Людський дубляж недоступний для більшої частини світу. Навіть топові продакшни дублюють лише кількома мовами через вартість, людей і час, якого це потребує; менші продакшни, шоу й вертикальні драми здебільшого не дублюють узагалі. Фундаментальна модель для мультимодального перекладу дає кожному з них ту саму гру іншою мовою: голос, губи й міміку актора 30 мовами, з постачанням до 4K зі справжнім об'ємним міксом 5.1 або стерео у 24-бітному PCM (результати).

Якість перекладу становить 100.3% від якості експертного людського перекладу, тобто врівень; дослідження опубліковано на /benchmark. Не «генеративний ШІ», а переклад на допомогу творцям. Від людини до людини, щоб охопити ширшу аудиторію. Що це означає для каталогу, описано у статті для студій і платформ.

ЗАПИТАННЯ