Што такое мультымадальная мадэль прыняцця рашэнняў у лакалізацыі (MLDM)?

FAMILIAR · ДАСЛЕДАВАННІ2026-10-27АБНОЎЛЕНА 2026-11-01УСЕ АРТЫКУЛЫ

АНАТАЦЫЯ

Першая фундаментальная мадэль для мультымадальнага перакладу, новая парадыгма, першая ў сваім родзе. MLDM: адна мадэль вырашае, што лакалізаваць і як, у тэксце, гуку і карцінцы, і выносіць на ваш выбар тое, што сапраўды важна. Спачатку пераклад, потым увесь дубляж за адзін праход: голас, губы і сцэна разам. Рашэнні ўзгодненыя, бо іх прымае адна мадэль. Чалавек застаецца тым самым.

ПЕРШАЯ ФУНДАМЕНТАЛЬНАЯ МАДЭЛЬ ДЛЯ МУЛЬТЫМАДАЛЬНАГА ПЕРАКЛАДУАЎДЫЯВІЗУАЛЬНЫ ПЕРАКЛАД АДРАЗУ, А НЕ КАСКАДАМ

Што вырашае MLDM?

ТЭКСТ

Які варыянт перакладу пераносіць рэпліку ў новую мову. MLDM узважвае некалькі варыянтаў і выбірае найлепшы: у жарце, гісторыі ці рэпліцы ў размове адно слова мяняе намер і эмоцыю. Тыя ж рашэнні тычацца тэрмінаў, таго, што не перакладаць, слэнгу, які застаецца такім, як сказаны, імя і брэнда, якія не мяняюцца, адсылкі, якую замяняюць на знаёмую гледачам, таго, чаго пазбягае культура, і ненарматыўнай лексікі, якой меней у версіі для маладзейшых гледачоў.

ГУК

Што ўвогуле перакладаць. MLDM чуе ўсё на дарожцы: смех, натоўп, крык, моўцу на заднім плане, якога ніхто не разбярэ. Яна знаходзіць галоўны голас, пераносіць яго ў новую мову ўласным голасам моўцы і пакідае астатняе такім, як было.

КАРЦІНКА

Хто насамрэч гэта кажа. Гук і карцінка вырашаюцца разам, таму MLDM ведае, хто апавядае, хто гаворыць з-за кадра і чые губы павінны рухацца. Губы ідуць за новымі словамі ў кожнай рэпліцы; міміка і жэсты, калі гэтага патрабуе націск ці культура.

ВЫБАР, ЯКІ ВЫ БАЧЫЦЕ

ТЭКСТ

СЁННЯКалі рэпліку можна перадаць па-рознаму, вашы крэатыўныя дырэктары атрымліваюць варыянты разам з абгрунтаваннем кожнага і выбіраюць адзін. У падкасце, серыі ці фільме такіх фрагментаў можа быць шмат.

У РАСПРАЦОЎЦЫ

ГУК

СЁННЯ

У РАСПРАЦОЎЦЫВыбар таго, што застаецца на мове арыгінала. Скандаванне, выкрык ці фраза могуць застацца такімі, як сказаныя, калі вы так хочаце.

КАРЦІНКА

СЁННЯ

У РАСПРАЦОЎЦЫВыбар іншага твару, калі мадэль памылілася з моўцам, і выбар таго, які тэкст у кадры перакладаць. Гэты тэкст (экран тэлефона, вокладка кнігі, вулічная таблічка, шыльда крамы) будзе напісаны ў тых тэрмінах, што вы ўжо выбралі; мадэль на хаду вырашае, што застаецца так, як знята: брэнд, імя, слэнг; пачак Tostitos застаецца Tostitos.

Чаму адна мадэль?

ЛАНЦУГ ІНСТРУМЕНТАЎ

Распазнаванне маўлення, потым пераклад, потым голас, потым ліпсінк, і кожны этап наладжаны асобна.
Менавіта такі ланцуг зрабіў машынны дубляж магчымым.
Кожны этап усё роўна гадае, не ведаючы пра астатнія, таму памылкі накопліваюцца ад этапа да этапа.

АДНА ФУНДАМЕНТАЛЬНАЯ МАДЭЛЬ, ПЕРШАЯ Ў СВАІМ РОДЗЕ

MLDM прымае рашэнні разам.
Пераклад ведае, пад які рот яму трэба легчы.
Голас ведае, у якой сцэне ён гучыць.
Чалавек застаецца тым самым.

Спачатку пераклад, потым увесь дубляж за адзін праход: голас, губы і сцэна выходзяць разам, з тых самых рашэнняў.

Аўдыявізуальны пераклад адразу, а не каскадам: першы ў сваім родзе. Менавіта гэта робіць MLDM першай фундаментальнай мадэллю для мультымадальнага перакладу: адна мадэль пераносіць словы, голас, губы і сцэну ў новую мову, усё адначасова. Сёння шлях да высокай якасці дапаможны: каманда VFX-мастакоў і тыдні на кожны праект, і кожная мова становіцца новым праектам. Сённяшнія інструменты за адзін праход хуткія і ахвяруюць усім астатнім. Familiar дае і адзін праход, і якасць.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Чым лакалізацыя адрозніваецца ад перакладу?

Пераклад гэта словы. Лакалізацыя гэта тое, што патрэбна ад іх культуры.

Правільныя тэрміны, слэнг, імёны, якія застаюцца такімі, як сказаныя, адсылка, замененая на знаёмую гледачам, тое, чаго пазбягае культура, дарэчны ўзровень ненарматыўнай лексікі. Усё гэта вырашае MLDM, а з часам і карцінку, калі яна мусіць змяніцца.

Ці з'яўляецца MLDM генератыўным ШІ?

Не. IBM вызначае яго так:

Генератыўны ШІ, які часам называюць gen AI, гэта штучны інтэлект (ШІ), здольны ствараць арыгінальны кантэнт, напрыклад тэкст, выявы, відэа, аўдыя ці праграмны код, у адказ на промпт або запыт карыстальніка.

IBM, What is generative AI?

Гэта моцны інструмент для стварэння новага. У MLDM няма промпту, і нічога новага не выдумляецца: яна вырашае, як лакалізаваць тое, што ўжо ёсць. Поўная пазіцыя выкладзена ў артыкулах Чаму Familiar не з'яўляецца генератыўным ШІ ў традыцыйным сэнсе і Пераклад не з'яўляецца генерацыяй.

Чые гэта рашэнні?

Вашы. Кожнае рашэнне MLDM фіксуецца разам з дубляжом, у журнале рашэнняў.

СЁННЯ
Вашы крэатыўныя дырэктары правяраюць рашэнні па перакладзе.
Варыянты разам з абгрунтаваннем кожнага; яны выбіраюць адзін, перш чым нешта выйдзе.
СЁННЯ
Спіс «Не перакладаць» і кантэкст адным сказам ідуць разам з заданнем.
У РАСПРАЦОЎЦЫ
Рашэнні па гуку і карцінцы, на тым самым этапе праверкі.
У РАСПРАЦОЎЦЫ
Памяць рашэнняў.
Змена, запомненая для аўтара, першай ужываецца ў наступным дубляжы, так што выбар, зроблены аднойчы, пераходзіць у наступную серыю.

Падрабязна пра гэта ў артыкуле Журнал рашэнняў; запланаваны API апісаны ў дакументацыі па рашэннях.

ПЫТАННІ

Як расшыфроўваецца MLDM?

MLDM азначае Multimodal Localization Decision Model, мультымадальную мадэль прыняцця рашэнняў у лакалізацыі, новую парадыгму, першую ў сваім родзе: адна мадэль вырашае, што лакалізаваць і як, у тэксце, гуку і карцінцы. Яна выбірае варыянт перакладу рэплікі, тое, што перакладаць у гуку, хто ў кадры гаворыць, і як за гэтым ідуць губы, міміка і жэсты.

Ці з'яўляецца MLDM відэамадэллю?

Не ў звычайным сэнсе. MLDM працуе з ужо знятым матэрыялам і вырашае, як яго лакалізаваць: словы, голас, губы і міміку. Чалавек у кадры застаецца роўна тым, кім ён ёсць, на кожнай мове.

Ці стварае MLDM новыя кадры?

Не. Промпту няма, і нічога новага не выдумляецца. MLDM вырашае, як лакалізаваць тое, што ўжо ёсць: акцёр, таймінг і сцэна застаюцца, а словы, галасавая дарожка і губы мяняюцца пад новую мову.

Што MLDM вырашае ў гуку?

Што ўвогуле перакладаць. Яна знаходзіць галоўны голас і пераносіць яго ў новую мову ўласным голасам моўцы. Смех, натоўп, крык і моўца на заднім плане, якога ніхто не разбярэ, застаюцца такімі, як былі.

Ці мяняе MLDM міміку?

Калі гэтага патрабуе націск ці культура. Губы ідуць за новымі словамі ў кожнай рэпліцы; міміка і жэсты, калі рэпліка на новай мове гучыць інакш. Чалавек застаецца роўна тым, кім ён ёсць.

Ці перакладае MLDM тэкст на экране?

Пакуль не. Тэкст у кадры (экран тэлефона, вокладка кнігі, вулічная таблічка, шыльда крамы) зараз інтэгруецца, і пісацца ён будзе ў тых тэрмінах, што вы ўжо выбралі; мадэль на хаду вырашае, што застаецца так, як знята: брэнд, імя, слэнг; пачак Tostitos застаецца Tostitos. Сёння лакалізуюцца словы, голас, губы, міміка і жэсты.

Ці магу я змяніць рашэнне, якое прыняла мадэль?

Так. Кожнае рашэнне фіксуецца разам з заданнем, і вы можаце яго змяніць. Сёння вашы крэатыўныя дырэктары выбіраюць паміж варыянтамі перакладу, кожны з абгрунтаваннем, а выбар, зроблены аднойчы, пераходзіць у наступную серыю.

Ці паказвае мадэль свой выбар у гуку і відэа?

Выбар у перакладзе паказваецца ўжо сёння. Выбар у гуку, напрыклад што застаецца на мове арыгінала, і выбар у карцінцы, напрыклад іншы твар ці які тэкст у кадры перакладаць, у распрацоўцы.

КРЫНІЦЫ

Мультымадальны пераклад

Familiar Labs робіць дубляж новага пакалення з дапамогай мультымадальнай мадэлі прыняцця рашэнняў у лакалізацыі (MLDM), першай фундаментальнай мадэлі для мультымадальнага перакладу: адна мадэль вырашае, што лакалізаваць у тэксце, гуку і карцінцы, і выносіць варыянты на ваш выбар. Ваш голас і губы, перанесеныя ў новыя мовы. Гэта каманда з 8 чалавек з PhD, якую падтрымліваюць Samsung, RedBird і Gold House. Наша місія

Глядзець поўны бенчмарк →Пагаварыць з камандай