ОПРЕДЕЛЕНИЕ

Какво е мултимодален модел за вземане на решения при локализация (MLDM)?

FAMILIAR ИЗСЛЕДВАНИЯОБНОВЕНО ВСИЧКИ СТАТИИ
ПРОЧЕТЕТЕ НАEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

РЕЗЮМЕ

Първият фундаментален модел за мултимодален превод, нова парадигма, първата по рода си. MLDM е един модел, който решава какво да се локализира и как в текста, звука и картината и ви показва вариантите, които имат значение. Първо преводът, после дублажът с един замах: гласът, устните и сцената заедно. Решенията са съгласувани, защото ги взима един модел. Човекът никога не се променя.
ПЪРВИЯТ ФУНДАМЕНТАЛЕН МОДЕЛ ЗА МУЛТИМОДАЛЕН ПРЕВОДАУДИОВИЗУАЛЕН ПРЕВОД НАВЕДНЪЖ, А НЕ ПОЕТАПНО

Какво решава MLDM?

ТЕКСТ
Кой вариант пренася репликата в новия език. MLDM претегля няколко варианта и избира най-добрия: в шега, история или реплика в разговор една дума променя намерението и емоцията. Същите решения обхващат термините, какво да не се превежда, жаргона, оставен, както е казан, името и марката, които се запазват, препратката, сменена с позната на публиката, онова, което културата избягва, и ругатните, смекчени за версия за по-млада публика.
ЗВУК
Какво изобщо да се преведе. MLDM чува всичко в пътечката: смеха, тълпата, вик, говорещ на заден план, когото никой не може да различи. Намира основния глас, пренася го в новия език със собствения глас на говорещия и оставя останалото, както си е било.
КАРТИНА
Кой всъщност говори. Звукът и картината се решават заедно, затова MLDM знае кой е разказвачът, кой говори зад кадър и чии устни трябва да се движат. Устните следват новите думи във всяка реплика; мимиката и жестовете ги следват, когато акцентът или културата го изисква.

ВАРИАНТИТЕ, КОИТО ВИЖДАТЕ

ТЕКСТ
ДНЕСКъдето една реплика може да прозвучи по повече от един начин, творческите ви директори получават вариантите с обосновката зад всеки и избират един. Подкаст, епизод или филм може да съдържа много такива сегменти.
В РАЗРАБОТКА
ЗВУК
ДНЕС
В РАЗРАБОТКАИзборът какво да остане на оригиналния език. Скандиране, вик или фраза могат да останат, както са казани, когато искате.
КАРТИНА
ДНЕС
В РАЗРАБОТКАИзборът на друго лице, когато моделът е избрал грешния говорещ, и изборът кой текст в кадъра да се преведе. Този текст, екран на телефон, корица на книга, уличен знак, табела на магазин, ще се пише с термините, които вече сте избрали; моделът решава в движение какво да остане, както е заснето: марка, име, жаргон; пликче Tostitos си остава Tostitos.

Защо един модел?

ВЕРИГА ОТ ИНСТРУМЕНТИ

  • Реч в текст, после превод, после глас, после липсинк, като всеки етап е настроен поотделно.
  • Тази верига направи машинния дублаж възможен.
  • Всеки етап обаче гадае без останалите, затова грешките се натрупват от етап на етап.

ЕДИН ФУНДАМЕНТАЛЕН МОДЕЛ, ПЪРВИЯТ ПО РОДА СИ

  • MLDM взима решенията заедно.
  • Преводът знае на коя уста трябва да пасне.
  • Гласът знае в каква сцена звучи.
  • Човекът никога не се променя.
++
Първо преводът, после дублажът с един замах: гласът, устните и сцената излизат заедно, от едни и същи решения.

Аудиовизуален превод наведнъж, а не поетапно: първият по рода си. Именно това прави MLDM първия фундаментален модел за мултимодален превод: един модел, който пренася думите, гласа, устните и сцената в нов език, всичко наведнъж. Пътят към високо качество днес е помощният: екип от VFX артисти и седмици за всеки проект, а всеки език е нов проект. Днешните инструменти, които дублират с един замах, са бързи и жертват всичко останало. Familiar е и с един замах, и с качеството.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Каква е разликата между локализация и превод?

Преводът е думите. Локализацията е онова, от което една култура има нужда в тях.

Правилните термини, жаргонът, имената, запазени, както са казани, препратка, сменена с позната на публиката, онова, което тази култура избягва, нивото на ругатните, което подхожда. MLDM решава всичко това, а с времето и картината, когато тя трябва да се промени.

Генеративен изкуствен интелект ли е MLDM?

Не. IBM го определя така:

Генеративният изкуствен интелект, понякога наричан gen AI, е изкуствен интелект (AI), който може да създава оригинално съдържание, като текст, изображения, видео, аудио или програмен код, в отговор на промпт или заявка от потребителя.
IBM, What is generative AI?

Това е силен инструмент за създаване на нови неща. MLDM няма промпт и нищо ново не се измисля: той решава как да се локализира онова, което вече е там. Цялата позиция е в Защо Familiar не е традиционен генеративен изкуствен интелект и Преводът не е генериране.

Чии са решенията?

Ваши. Всяко решение, което взима MLDM, се записва към дублажа, в записа на решенията.

  1. ДНЕС

    Творческите ви директори преглеждат решенията за превода.

    Вариантите с обосновката зад всеки; те избират един, преди нещо да излезе.
  2. ДНЕС

    Списък „Не превеждай“ и контекст от едно изречение пътуват със задачата.

  3. В РАЗРАБОТКА

    Решенията за звука и картината, в същия преглед.

  4. В РАЗРАБОТКА

    Памет за решенията.

    Промяна, запомнена за даден създател, се прилага първа при следващия дублаж, така че избор, направен веднъж, важи и за следващия епизод.

Цялата история е в Записът на решенията: как творческите директори насочват MLDM; планираният API е в документацията за решенията.

ВЪПРОСИ

Какво означава MLDM?

MLDM означава мултимодален модел за вземане на решения при локализация (Multimodal Localization Decision Model), нова парадигма, първата по рода си: един модел, който решава какво да се локализира и как в текста, звука и картината. Той избира варианта на репликата, какво да се преведе в звука, кой на екрана говори и как да го последват устните, мимиката и жестовете.

Видеомодел ли е MLDM?

Не в обичайния смисъл. MLDM работи с вече съществуващ материал и решава как да го локализира: думите, гласа, устните и мимиката. Човекът на екрана остава точно такъв, какъвто е, на всеки език.

Създава ли MLDM нов видеоматериал?

Не. Няма промпт и нищо ново не се измисля. MLDM решава как да се локализира онова, което вече е там: актьорът, ритъмът и сцената остават, а думите, гласовата пътечка и устните се променят, за да паснат на новия език.

Какво решава MLDM в звука?

Какво изобщо да се преведе. Намира основния глас и го пренася в новия език със собствения глас на говорещия. Смехът, тълпата, викът и говорещият на заден план, когото никой не може да различи, остават, както са били.

Променя ли MLDM мимиката?

Когато акцентът или културата го изисква. Устните следват новите думи във всяка реплика; мимиката и жестовете ги следват, когато репликата прозвучава различно на новия език. Човекът остава точно такъв, какъвто е.

Превежда ли MLDM текста на екрана?

Още не. Текстът в кадъра, като екран на телефон, корица на книга, уличен знак или табела на магазин, се интегрира сега и се пише с термините, които вече сте избрали; моделът решава в движение какво да остане, както е заснето: марка, име, жаргон; пликче Tostitos си остава Tostitos. Днес се локализират думите, гласът, устните, мимиката и жестовете.

Мога ли да променя решение, което е взел моделът?

Да. Всяко решение се записва към задачата и можете да го промените. Днес творческите ви директори избират между вариантите на превода, всеки с обосновката си, а избор, направен веднъж, важи и за следващия епизод.

Показва ли моделът изборите си в звука и картината?

Изборите в превода се показват днес. Изборите в звука, например какво да остане на оригиналния език, и в картината, например изборът на друго лице или на това кой текст в кадъра да се преведе, са в разработка.

ИЗТОЧНИЦИ

  1. [1]IBM, What is generative AI?, прочетено на 27 октомври 2026
  2. [2]Нашата мисия
  3. [3]Често задавани въпроси за Familiar

Мултимодален превод

Familiar Labs създава дублаж от ново поколение с мултимодален модел за вземане на решения при локализация (MLDM), първия фундаментален модел за мултимодален превод: един модел решава какво да се локализира в текста, звука и картината и ви показва вариантите. Вашият глас и устни, пренесени на нови езици. Екип от 8 души с PhD, с подкрепата на Samsung, RedBird и Gold House. Нашата мисия

Вижте пълния бенчмарк →Свържете се с екипа