Пионери в мултимодалния превод: от съвместните аудиовизуални изследвания до първия фундаментален модел

01. Кой постави началото на съвместните аудиовизуални модели на човека?

Един дублаж издържа само ако гласът и лицето остават един човек. Изследователите на Familiar са доктори на науките, които поставиха началото на областта на съвместните аудиовизуални модели на човека: тяхната статия JAM-Flow, на ECCV 2026, е първият съвместен аудиовизуален модел на човека, в който гласът и лицето на говорещия са един проблем.

Работата обхваща частите, от които мултимодалният превод има нужда: съвместни аудиовизуални модели на човека, бързи видеомодели, редакция и мултимодално възприятие. Всяка публикация и всяко място на публикуване са в нашия преглед на изследванията. Причината е лична: An Zhu Liu, изпълнителният директор, като дете не можеше да говори на английски със съучениците си и научи езика от телевизията; историята е разказана на страницата за нашата мисия.

02. Защо дублажът минаваше през отделни инструменти?

Защото всяка част първо беше решена самостоятелно. Машинният дублаж се появи като верига и именно тази верига го направи изобщо възможен. Тя обаче постави и границата му, а инструментите, създадени оттогава, все още разменят качество срещу време. Помощните инструменти стигат до качеството с екип от VFX артисти и седмици за всеки проект, като всеки език е нов проект. Инструментите, които дублират с един замах, са бързи и жертват всичко останало: устните им се провалят при ръка пред лицето, микрофон, размазване, боке, кадър в профил или няколко души в кадър, без пространствено мислене и без разбиране на света. Familiar е и с един замах, и с качеството.

++

Familiar е първият фундаментален модел за мултимодален превод: един модел, който пренася думите, гласа, устните и сцената в нов език, всичко наведнъж.

Сравнението стъпка по стъпка е в Аудиовизуален превод наведнъж, а не поетапно; определението е в Първият фундаментален модел за мултимодален превод.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Какво означава тук да си пионер?

Три неща, събрани заедно за първи път. Първото е, че звукът и картината се пренасят в новия език наведнъж, от един модел, така че решенията са съгласувани: гласът е на самия актьор, устните следват новите думи, а смехът, тълпата и музиката остават там, където са били.

Второто е редът. Първо преводът, после дублажът с един замах: гласът, устните и сцената заедно. Думите са уточнени и прегледани от творческите ви директори, преди нещо да бъде озвучено.

Третото е записът. Всяко решение, което взима MLDM, се записва към задачата и можете да промените всяко от тях. Пълният разказ е в Записът на решенията: как творческите директори насочват MLDM; какво е MLDM, в статията с определението.

04. Какво решава моделът и какво избирате вие?

Резултатът от изследванията става продукт, когато хората, които го използват, остават начело. MLDM за досадната част. Творческите решения остават ваши.

05. Какво все още е в разработка?

Да си пионер означава първата версия, а не последната. Изборите в превода са отворени днес; останалата част от записа се отваря на стъпки.

1. ДНЕС

   Творческите ви директори преглеждат решенията за превода.

   Вариантите с обосновката зад всеки; списък „Не превеждай“ и контекст от едно изречение пътуват със задачата.
2. В РАЗРАБОТКА

   Решенията за звука и картината, в същия преглед.

3. В РАЗРАБОТКА

   Текстът в кадъра.

   Екран на телефон, корица на книга, уличен знак, написани с термините, които вече сте избрали; марка или име остават, както са заснети, решено в движение: пликче Tostitos си остава Tostitos.
4. В РАЗРАБОТКА

   Дублаж на живо.

06. Какво променя това за хората на екрана?

Човешкият дублаж е недостъпен за по-голямата част от света. Дори най-големите продукции дублират само на няколко езика заради цената, хората и времето, което отнема; по-малките продукции, предаванията и вертикалните драми в повечето случаи изобщо не се дублират. Фундаменталният модел за мултимодален превод дава на всеки от тях същото изпълнение на друг език: гласа, устните и мимиката на актьора на 30 езика, доставени до 4K с истински 5.1 съраунд или стерео микс в 24-битов PCM (изходните файлове).

Преводът достига 100.3% от качеството на експертен човешки превод, т.е. е равностоен; изследванията са на /benchmark. Не е „генеративен изкуствен интелект“, а превод в помощ на творците. От човек към човек, до още повече хора. Какво означава това за един каталог, е описано в статията за студиата и платформите.

ВЪПРОСИ