Мультимодальды аудармаға жол салу: бірлескен аудиовизуалды зерттеулерден тұңғыш іргелі модельге дейін

01. Бірлескен аудиовизуалды адам модельдерін кім бастады?

Дубляж дауыс пен бет бір адамдікі болып қалғанда ғана сенімді шығады. Familiar зерттеушілері бірлескен аудиовизуалды адам модельдері саласын бастаған PhD мамандары: олардың ECCV 2026-да жарияланған JAM-Flow мақаласы тұңғыш бірлескен аудиовизуалды адам моделі, онда сөйлеп тұрған адамның дауысы мен беті бір мәселе ретінде қарастырылады.

Жұмыс мультимодальды аудармаға қажет бөліктерді қамтиды: бірлескен аудиовизуалды адам модельдері, жылдам бейне модельдері, өңдеу және мультимодальды қабылдау. Әр мақала мен конференция зерттеулер шолуымызда. Себебі жеке: бас директор An Zhu Liu бала кезінде сыныптастарымен ағылшынша сөйлесе алмаған, тілді теледидардан үйренген; бұл хикая миссия бетімізде.

02. Дубляж неге бөлек құралдар арқылы жасалды?

Өйткені әр бөлік алдымен жеке шешілді. Машиналық дубляж тізбек болып келді, оны мүлде мүмкін еткен де сол тізбек. Ол өз шегін де белгіледі, ал содан бері жасалған құралдар әлі де сапа мен уақыттың бірін құрбан етеді. Көмекші құралдар сапаға VFX мамандарының командасы мен әр жобаға апталар арқылы жетеді, әр тіл жаңа жоба. Бір қадамдық құралдар жылдам, бірақ қалғанының бәрін құрбан етеді: бетті жапқан қол, микрофон, бұлыңғырлық, боке, бүйірден түсірілім немесе кадрдағы бірнеше адам болса, олардың ерін қимылы бұзылады; кеңістіктік ойлау да, әлемді түсіну де жоқ. Familiar бір қадамда жасайды және сапаны береді.

++

Familiar мультимодальды аудармадағы тұңғыш іргелі модель: сөзді, дауысты, ерін қимылын және көріністі жаңа тілге бірден жеткізетін бір модель.

Қадам-қадаммен салыстыру Аудиовизуалды аударма бірден, каскадсыз мақаласында; анықтамасы Мультимодальды аудармадағы тұңғыш іргелі модель мақаласында.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Мұнда жол салу нені білдіреді?

Алғаш рет бірге келген үш нәрсе. Біріншісі: дыбыс пен бейне жаңа тілге бір модельмен бірден жеткізіледі, сондықтан шешімдер үйлесімді: дауыс актердің өзінікі, ерін жаңа сөздерге ереді, ал күлкі, жұрттың шуы мен музыка орнында қалады.

Екіншісі: рет. Алдымен аударма, сосын дубляж бір-ақ қадамда: дауыс, ерін қимылы және көрініс бірге. Ештеңе дыбысталмай тұрып сөздер бекітіледі және креативті директорларыңыз тексереді.

Үшіншісі: тізім. MLDM қабылдаған әр шешім тапсырмамен бірге сақталады, кез келгенін өзгерте аласыз. Толық сипаттама Шешімдер тізімі: креативті директорлар MLDM-ді қалай басқарады мақаласында; MLDM деген не, анықтама мақаласында.

04. Модель нені шешеді, ал сіз нені таңдайсыз?

Зерттеу нәтижесі оны қолданатын адамдар бақылауды өз қолында ұстағанда ғана өнімге айналады. Іш пыстыратын бөлікті MLDM атқарады. Шығармашылық шешімдер сізде қалады.

05. Әлі не әзірленіп жатыр?

Жол салу дегеніміз соңғы емес, алғашқы нұсқа. Аударма таңдаулары бүгін ашық; тізімнің қалған бөлігі кезең-кезеңімен ашылады.

1. БҮГІН

   Креативті директорларыңыз аударма шешімдерін тексереді.

   Нұсқалар әрқайсысының негіздемесімен беріледі; «Аудармау» тізімі мен бір жолдық контекст тапсырмамен бірге жүреді.
2. ӘЗІРЛЕНІП ЖАТЫР

   Дыбыс пен бейнеге қатысты шешімдер, сол тексеру экранында.

3. ӘЗІРЛЕНІП ЖАТЫР

   Кадрдағы мәтін.

   Телефон экраны, кітап мұқабасы, көше тақтасы сіз бұрын таңдаған терминдермен жазылады; бренд не есім түсірілген күйінде қалады, мұны модель сол сәтте шешеді: Tostitos пакеті Tostitos болып қалады.
4. ӘЗІРЛЕНІП ЖАТЫР

   Тікелей дубляж.

06. Экрандағы адамдар үшін бұл нені өзгертеді?

Адам жасайтын дубляж әлемнің көп бөлігі үшін қолжетімсіз. Шығын, адам күші мен уақыт салдарынан ең ірі продакшндар да бірнеше тілге ғана дубляж жасатады; шағын продакшндар, шоулар мен вертикалды драмалар көбіне мүлде дубляждалмайды. Мультимодальды аудармадағы іргелі модель олардың әрқайсысына басқа тілдегі сол бір орындауды береді: актердің дауысы, ерні мен мимикасы 30 тілде, 4K-ға дейінгі сапада, 24-bit PCM форматындағы нағыз 5.1 көлемді дыбыс немесе стерео миксімен (нәтижелер).

Аударма тәжірибелі адам аудармасы сапасының 100.3%-ына жетеді, яғни тең түседі; зерттеулер /benchmark бетінде. «Генеративті ЖИ» емес, шығармашыл адамдарға жол ашатын аударма. Адамнан адамға, аудиторияны қамтуды кеңейтеміз. Оның каталог үшін мәні студиялар мен платформаларға арналған мақалада.

СҰРАҚТАР