АНЫҚТАМА

Мультимодальды локализациядағы шешім қабылдау моделі (MLDM) деген не?

FAMILIAR ЗЕРТТЕУЖАҢАРТЫЛҒАН БАРЛЫҚ МАҚАЛАЛАР
МАҚАЛА ТІЛІEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

АҢДАТПА

Мультимодальды аудармадағы тұңғыш іргелі модель, жаңа парадигма, баламасы жоқ тұңғыш модель. MLDM мәтінде, дыбыста және бейнеде нені және қалай локализациялау керегін шешетін және маңызды таңдауларды сізге көрсететін бір модель. Алдымен аударма, сосын дубляж бір-ақ қадамда жасалады: дауыс, ерін қимылы және көрініс бірге. Шешімдер үйлесімді, өйткені оларды бір модель қабылдайды. Адам өзгермейді.
МУЛЬТИМОДАЛЬДЫ АУДАРМАДАҒЫ ТҰҢҒЫШ ІРГЕЛІ МОДЕЛЬАУДИОВИЗУАЛДЫ АУДАРМА БІРДЕН, КАСКАДСЫЗ

MLDM нені шешеді?

МӘТІН
Репликаны жаңа тілге қай нұсқа жеткізеді. MLDM бірнеше нұсқаны салмақтап, ең жақсысын таңдайды: әзілде, хикаяда не диалогтағы репликада бір сөз ниетті де, эмоцияны да өзгертеді. Сол шешімдер терминдерді, нені аудармау керегін, айтылған күйі қалатын сленгті, өзгермейтін есім мен брендті, аудитория білетін сілтемеге ауыстырылатын сілтемені, сол мәдениетте айтылмайтын нәрсені және жас аудиторияға арналған нұсқада төмендетілетін балағат деңгейін де қамтиды.
ДЫБЫС
Жалпы нені аудару керек. MLDM жолдағы бәрін естиді: күлкіні, жұрттың шуын, айқайды, артта сөзі анық естілмейтін адамды. Ол негізгі дауысты тауып, оны спикердің өз дауысымен жаңа тілге жеткізеді, ал қалғанын бұрынғы күйінде қалдырады.
БЕЙНЕ
Сөзді шын мәнінде кім айтып тұр. Дыбыс пен бейне бірге шешіледі, сондықтан MLDM кім баяндайтынын, кім кадр сыртынан сөйлейтінін және кімнің ерні қозғалуы керегін біледі. Ерін қимылы әр репликада жаңа сөздерге ереді; мимика мен ым-ишара екпін не мәдениет талап еткенде ереді.

СІЗ КӨРЕТІН ТАҢДАУЛАР

МӘТІН
БҮГІНРеплика бірнеше түрлі естілуі мүмкін жерде креативті директорларыңыз нұсқаларды әрқайсысының негіздемесімен алып, біреуін таңдайды. Подкастта, серияда не фильмде мұндай сегменттер көп болуы мүмкін.
ӘЗІРЛЕНІП ЖАТЫР
ДЫБЫС
БҮГІН
ӘЗІРЛЕНІП ЖАТЫРТүпнұсқа тілде не қалатынын таңдау. Ұран, айқай не бір тіркес қаласаңыз айтылған күйінде қалады.
БЕЙНЕ
БҮГІН
ӘЗІРЛЕНІП ЖАТЫРМодель спикерді қате таңдаса, басқа бет-әлпетті таңдау және кадрдағы қай мәтінді аудару керегін таңдау. Ол мәтін, яғни телефон экраны, кітап мұқабасы, көше тақтасы, дүкен маңдайшасы, сіз бұрын таңдаған терминдермен жазылады; бренд, есім, сленг сияқты нені түсірілген күйінде қалдыру керегін модель сол сәтте шешеді: Tostitos пакеті Tostitos болып қалады.

Неге бір модель?

ҚҰРАЛДАР ТІЗБЕГІ

  • Сөйлеуді мәтінге айналдыру, сосын аударма, сосын дауыс, сосын липсинк, әр кезең өз алдына бапталады.
  • Машиналық дубляжды мүмкін еткен осы тізбек.
  • Әр кезең бәрібір басқаларын білмей болжайды, сондықтан қателер кезеңнен кезеңге жинақталады.

БІР ІРГЕЛІ МОДЕЛЬ, БАЛАМАСЫ ЖОҚ ТҰҢҒЫШ

  • MLDM шешімдерді бірге қабылдайды.
  • Аударма өзі сыйуы керек ауызды біледі.
  • Дауыс өзі тұрған көріністі біледі.
  • Адам өзгермейді.
++
Алдымен аударма, сосын дубляж бір-ақ қадамда: дауыс, ерін қимылы және көрініс сол шешімдерден бірге шығады.

Аудиовизуалды аударма бірден, каскадсыз: баламасы жоқ тұңғыш тәсіл. MLDM-ді мультимодальды аудармадағы тұңғыш іргелі модель ететін осы: сөзді, дауысты, ерін қимылын және көріністі жаңа тілге бірден жеткізетін бір модель. Бүгінгі жоғары сапалы жол көмекші: VFX мамандарының командасы мен әр жобаға апталар, ал әр тіл жаңа жоба. Бүгінгі бір қадамдық құралдар жылдам, бірақ қалғанының бәрін құрбан етеді. Familiar бір қадамда жасайды және сапаны береді.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Локализация мен аударманың айырмасы неде?

Аударма дегеніміз сөздер. Локализация дегеніміз мәдениетке сол сөздерден не керек екені.

Дұрыс терминдер, сленг, айтылған күйі қалатын есімдер, аудитория білетін сілтемеге ауыстырылған сілтеме, сол мәдениетте айтылмайтын нәрсе, лайықты балағат деңгейі. MLDM мұның бәрін шешеді, уақыт өте келе, өзгеруі керек болса, кадрды да.

MLDM генеративті ЖИ ме?

Жоқ. IBM оны былай анықтайды:

Генеративті ЖИ, кейде gen AI деп те аталады, пайдаланушының промптына не сұрауына жауап ретінде мәтін, сурет, бейне, аудио не бағдарламалық код сияқты түпнұсқа контент жасай алатын жасанды интеллект (ЖИ).
IBM, What is generative AI?

Бұл жаңа нәрсе жасауға арналған мықты құрал. MLDM-де промпт жоқ, ештеңе ойдан шығарылмайды: ол бар нәрсені қалай локализациялау керегін шешеді. Толық ұстанымымыз Familiar неге дәстүрлі генеративті ЖИ емес және Аударма генерация емес мақалаларында.

Бұл кімнің шешімдері?

Сіздікі. MLDM қабылдаған әр шешім дубляжбен бірге шешімдер тізімінде сақталады.

  1. БҮГІН

    Креативті директорларыңыз аударма шешімдерін тексереді.

    Нұсқалар әрқайсысының негіздемесімен беріледі; ештеңе шықпай тұрып олар біреуін таңдайды.
  2. БҮГІН

    «Аудармау» тізімі мен бір жолдық контекст тапсырмамен бірге жүреді.

  3. ӘЗІРЛЕНІП ЖАТЫР

    Дыбыс пен бейнеге қатысты шешімдер, сол тексеру экранында.

  4. ӘЗІРЛЕНІП ЖАТЫР

    Шешімдер жады.

    Креатор үшін есте сақталған өзгеріс келесі дубляжда бірінші қолданылады, сондықтан бір рет жасалған таңдау келесі серияға да ауысады.

Толық сипаттама Шешімдер тізімі: креативті директорлар MLDM-ді қалай басқарады мақаласында; жоспарланған API шешімдер құжаттамасында.

СҰРАҚТАР

MLDM қалай таратылып жазылады?

MLDM дегеніміз Multimodal Localization Decision Model, яғни мультимодальды локализациядағы шешім қабылдау моделі, жаңа парадигма, баламасы жоқ тұңғыш модель: мәтінде, дыбыста және бейнеде нені және қалай локализациялау керегін шешетін бір модель. Ол репликаның нұсқасын, дыбыста нені аудару керегін, экранда кім сөйлеп тұрғанын және ерін қимылы, мимика мен ым-ишара қалай еретінін таңдайды.

MLDM бейне модель ме?

Әдеттегі мағынада емес. MLDM бұрыннан бар түсірілімдермен жұмыс істеп, оны қалай локализациялау керегін шешеді: сөздерді, дауысты, ерін қимылын және мимиканы. Экрандағы адам кез келген тілде дәл сол күйінде қалады.

MLDM жаңа түсірілім жасай ма?

Жоқ. Промпт жоқ, ештеңе ойдан шығарылмайды. MLDM бар нәрсені қалай локализациялау керегін шешеді: актер, тайминг және көрініс сол күйі қалады, ал сөздер, дауыс жолы мен ерін қимылы жаңа тілге сай өзгереді.

MLDM дыбыста нені шешеді?

Жалпы нені аудару керек. Ол негізгі дауысты тауып, оны спикердің өз дауысымен жаңа тілге жеткізеді. Күлкі, жұрттың шуы, айқай және артта сөзі анық естілмейтін адам бұрынғы күйінде қалады.

MLDM мимиканы өзгерте ме?

Екпін не мәдениет талап еткенде. Ерін қимылы әр репликада жаңа сөздерге ереді; реплика жаңа тілде басқаша естілгенде мимика мен ым-ишара да ереді. Адам дәл сол күйінде қалады.

MLDM экрандағы мәтінді аудара ма?

Әзірге жоқ. Кадрдағы мәтін, мысалы, телефон экраны, кітап мұқабасы, көше тақтасы не дүкен маңдайшасы, қазір қосылып жатыр, ол сіз бұрын таңдаған терминдермен жазылады; бренд, есім, сленг сияқты нені түсірілген күйінде қалдыру керегін модель сол сәтте шешеді: Tostitos пакеті Tostitos болып қалады. Бүгін сөздер, дауыс, ерін қимылы, мимика мен ым-ишара локализацияланады.

Модель қабылдаған шешімді өзгерте аламын ба?

Иә. Әр шешім тапсырмамен бірге сақталады, оны өзгерте аласыз. Бүгін креативті директорларыңыз аударма нұсқаларының ішінен әрқайсысының негіздемесін көріп таңдайды, ал бір рет жасалған таңдау келесі серияға да ауысады.

Модель дыбыс пен бейнедегі таңдауларын көрсете ме?

Аударма таңдаулары бүгін көрсетіледі. Дыбыстағы таңдаулар, мысалы, түпнұсқа тілде не қалатыны, және бейнедегі таңдаулар, мысалы, басқа бет-әлпетті таңдау не кадрдағы қай мәтінді аудару керегі, әзірленіп жатыр.

ДЕРЕККӨЗДЕР

  1. [1]IBM, What is generative AI?, 2026 жылғы 27 қазанда оқылды
  2. [2]Біздің миссиямыз
  3. [3]Familiar: жиі қойылатын сұрақтар

МУЛЬТИМОДАЛЬДЫ АУДАРМА

Familiar Labs мультимодальды локализациядағы шешім қабылдау моделі (MLDM) арқылы жаңа буын дубляжын жасайды. Бұл мультимодальды аудармадағы тұңғыш іргелі модель: ол мәтінде, дыбыста және бейнеде нені локализациялау керегін шешеді және таңдауларды сізге көрсетеді. Дауысыңыз бен ерін қимылыңыз жаңа тілдерге көшеді. Командада 8 адам, арасында PhD-лер бар; инвесторлары: Samsung, RedBird, Gold House. Біздің миссиямыз

Толық бенчмаркты қарау →Командамен сөйлесу