Першапраходцы мультымадальнага перакладу: ад сумесных аўдыявізуальных даследаванняў да першай фундаментальнай мадэлі

01. Хто заснаваў сумесныя аўдыявізуальныя мадэлі чалавека?

Дубляж трымаецца, толькі калі голас і твар застаюцца адным чалавекам. Даследчыкі Familiar з'яўляюцца доктарамі навук, якія заснавалі галіну сумесных аўдыявізуальных мадэляў чалавека: іх артыкул JAM-Flow, на ECCV 2026, апісвае першую сумесную аўдыявізуальную мадэль чалавека, дзе голас і твар таго, хто гаворыць, разглядаюцца як адна задача.

Гэтая праца ахоплівае ўсё, што патрэбна мультымадальнаму перакладу: сумесныя аўдыявізуальныя мадэлі чалавека, хуткія відэамадэлі, рэдагаванне і мультымадальнае ўспрыманне. Кожны артыкул і канферэнцыя пералічаныя ў нашым аглядзе даследаванняў. Прычына асабістая: CEO An Zhu Liu у дзяцінстве не мог загаварыць з аднакласнікамі па-англійску і вывучыў мову па тэлевізары; гэтая гісторыя расказана на старонцы нашай місіі.

02. Чаму дубляж ішоў праз асобныя інструменты?

Бо кожную частку спачатку вырашалі паасобку. Машынны дубляж з'явіўся як ланцуг, і менавіта гэты ланцуг зрабіў яго ўвогуле магчымым. Ён жа задаў і мяжу, і інструменты, створаныя з таго часу, па-ранейшаму мяняюць якасць на час. Дапаможныя інструменты дасягаюць якасці з камандай VFX-мастакоў і тыднямі на кожны праект, і кожная мова становіцца новым праектам. Інструменты за адзін праход хуткія і ахвяруюць усім астатнім: губы ў іх не спраўляюцца, калі твар закрывае рука ці мікрафон, кадр размыты або з бокэ, зняты збоку ці ў ім некалькі чалавек, бо ў іх няма ні прасторавага мыслення, ні разумення свету. Familiar дае і адзін праход, і якасць.

++

Familiar з'яўляецца першай фундаментальнай мадэллю для мультымадальнага перакладу: адна мадэль пераносіць словы, голас, губы і сцэну ў новую мову, усё адначасова.

Параўнанне крок за крокам у артыкуле Аўдыявізуальны пераклад адразу, а не каскадам; азначэнне ў артыкуле Першая фундаментальная мадэль для мультымадальнага перакладу.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Што тут значыць «першапраходцы»?

Тры рэчы, упершыню разам. Першая: гук і карцінка пераносяцца ў новую мову адначасова, адной мадэллю, таму рашэнні ўзгодненыя: голас належыць самому акцёру, губы ідуць за новымі словамі, а смех, натоўп і музыка застаюцца на сваіх месцах.

Другая: парадак. Спачатку пераклад, потым увесь дубляж за адзін праход: голас, губы і сцэна разам. Словы ўзгадняюцца і правяраюцца вашымі крэатыўнымі дырэктарамі яшчэ да таго, як нешта агучана.

Трэцяя: журнал. Кожнае рашэнне MLDM фіксуецца разам з заданнем, і любое з іх можна змяніць. Падрабязна ў артыкуле Журнал рашэнняў: як крэатыўныя дырэктары кіруюць MLDM; што такое MLDM, у артыкуле з азначэннем.

04. Што вырашае мадэль і што выбіраеце вы?

Даследчы вынік становіцца прадуктам, калі кіраванне застаецца ў людзей, якія ім карыстаюцца. MLDM бярэ на сябе руціну. Творчыя рашэнні застаюцца за вамі.

05. Што яшчэ ў распрацоўцы?

Быць першапраходцам значыць выпусціць першую версію, а не апошнюю. Выбар у перакладзе адкрыты ўжо сёння; астатняя частка журнала адкрываецца паэтапна.

1. СЁННЯ

   Вашы крэатыўныя дырэктары правяраюць рашэнні па перакладзе.

   Варыянты з абгрунтаваннем кожнага; спіс «Не перакладаць» і кантэкст адным сказам ідуць разам з заданнем.
2. У РАСПРАЦОЎЦЫ

   Рашэнні па гуку і карцінцы, на тым самым этапе праверкі.

3. У РАСПРАЦОЎЦЫ

   Тэкст у кадры.

   Экран тэлефона, вокладка кнігі, вулічная таблічка, напісаныя ў тых тэрмінах, што вы ўжо выбралі; брэнд ці імя застаюцца так, як знята, і мадэль вырашае гэта на хаду: пачак Tostitos застаецца Tostitos.
4. У РАСПРАЦОЎЦЫ

   Дубляж ужывую.

06. Што гэта мяняе для людзей у кадры?

Дубляж людзьмі недаступны для большай часткі свету. Нават буйныя праекты дублююць толькі на некалькі моў з-за кошту, людзей і часу, якіх ён патрабуе; меншыя праекты, шоу і вертыкальныя драмы ў большасці не дублююць увогуле. Фундаментальная мадэль для мультымадальнага перакладу дае кожнаму з іх тую самую ігру на іншай мове: голас, губы і міміку акцёра на 30 мовах, з дастаўкай да 4K і сапраўдным аб'ёмным міксам 5.1 або стэрэа ў 24-бітным PCM (выніковыя файлы).

Пераклад набірае 100.3% ад якасці перакладу вопытнага прафесіянала, гэта роўнасць; даследаванні на /benchmark. Не «генератыўны ШІ», а пераклад на службе творцаў. Ад чалавека да чалавека, да новых гледачоў па ўсім свеце. Што гэта азначае для каталога, у артыкуле для студый і платформаў.

ПЫТАННІ