Мультимодальды аудармадағы тұңғыш іргелі модель

01. Мультимодальды аудармадағы іргелі модель деген не?

Бейне сөзінен көп нәрсе айтады. Спикердің дауысы, ауызының қимылы, бөлмедегі күлкі және көрініс астындағы музыка, бәрі мағына тасиды. Бейнені жақсы аудару дегеніміз осының бәрін жеткізу және өзара үйлесімде ұстау: реплика ауызға сыюы керек, дауыс көрініске жарасуы керек, ал экрандағы адам дәл сол күйінде қалуы керек.

Мультимодальды аудармадағы іргелі модель осы жұмыстың бәрін атқаратын бір модель. Ол түсірілімді бір тұтас нәрсе ретінде алып, әр бөлігі жаңа тілде қалай берілуі керегін шешеді. Тұңғышын Familiar жасады және оны MLDM деп атайды.

02. Дубляж неге осы уақытқа дейін бөлек құралдар арқылы жасалды?

Адам жасайтын дубляж әлемнің көп бөлігі үшін әрқашан қолжетімсіз болды. Ең ірі продакшндар да шығын, адам күші мен уақыт салдарынан бірнеше тілге ғана дубляж жасатады; шағын продакшндар, шоулар мен вертикалды драмалар мүлде дубляждалмайды. Адам жасайтын толық дубляж, аударма мен дауыс қоса, дайын минутына $70–150 тұрады.

03. Бәрін бір модель бірден жеткізсе, не өзгереді?

++

Аудиовизуалды аударма бірден, каскадсыз: баламасы жоқ тұңғыш тәсіл.

Сол актердің орындауы толық жетеді: өз дауысы, жаңа сөздерге қозғалған ерні, мимикасы және айналасындағы көрініс дыбысы. Күлкі, жұрттың шуы мен музыка бұрынғы күйінде қалады. Сол клиптерде YouTube-та фондық дыбыс қатесі Familiar-ға қарағанда 232.6% көбірек болды. Тек сөздердің өзінде аударма тәжірибелі кәсіпқойдың бірінші нұсқасымен тең түседі: олардың сапасының 100.3%-ы. Толық көрсеткіштер бенчмаркте.

Бұл дубляж төңірегіндегі жұмысты да өзгертеді. Бүгінгі жоғары сапалы жол көмекші: VFX мамандарының командасы апталап кадр-кадрымен жұмыс істейді, ал әр тіл жаңа жоба. Бүгінгі бір қадамдық құралдар жылдам, бірақ қалғанының бәрін құрбан етеді: аударманы түзету мүмкін емес, музыка мен бөлме атмосферасы жоғалады, ал қарапайым кадрларда, яғни бетті жапқан қол, микрофон, бұлыңғырлық, боке, бүйірден түсірілім немесе кадрдағы бірнеше адам болса, ерін қимылы бұзылады. Кеңістіктік ойлау да, әлемді түсіну де жоқ. Familiar бір қадамда жасайды және сапаны береді: бір жүктеу бейнені сіз таңдаған барлық тілге бірден жеткізеді, ал шешімдер үйлесімді, өйткені оларды бір модель қабылдайды, сондықтан ештеңені қолмен қайта құрастырудың қажеті жоқ.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. MLDM нені шешеді, ал сіз нені таңдайсыз?

Мультимодальды локализациядағы шешім қабылдау моделі, бұл модельдің өзі. MLDM мәтінде, дыбыста және бейнеде нені және қалай локализациялау керегін шешеді. Толық анықтама Мультимодальды локализациядағы шешім қабылдау моделі (MLDM) деген не? мақаласында.

1. БҮГІН

   Креативті директорларыңыз тексеретін аударма шешімдері.

   Әр шешім тапсырмамен бірге сақталады. Кез келгенін өзгерте аласыз.
2. ӘЗІРЛЕНІП ЖАТЫР

   Дыбыс пен бейнеге қатысты шешімдер, сол тексеру экранында.

3. ӘЗІРЛЕНІП ЖАТЫР

   Кадрдағы мәтін және тікелей дубляж.

   Телефон экраны не көше тақтасы сіз бұрын таңдаған терминдермен жазылады; бренд не есім түсірілген күйінде қалады, мұны модель сол сәтте шешеді: Tostitos пакеті Tostitos болып қалады.

Осы таңдаулардың тізімі Шешімдер тізімі: креативті директорлар MLDM-ді қалай басқарады мақаласында.

05. Іргелі модель студияға не береді?

Іш пыстыратын бөлікті MLDM атқарады. Шығармашылық шешімдер туындыны жасаған адамдарда қалады; қалғанын модель барлық тілге бірден жеткізеді.

Әр дубляж сол кластерде өңделеді, ешқашан сырттағы инференс провайдерінде емес, сондықтан медиаңыз ешқашан ағып кетпейді. Толығырақ жеке инференс құжаттамасында және нәтижелер құжаттамасында. Оның артында бірлескен аудиовизуалды адам модельдері саласын бастаған PhD мамандары тұр: 22 мақала, 10 000-нан астам дәйексөз, кеңесшілері Prof. Xu Zheng және Prof. Youngjung Uh, ал Samsung, RedBird және Gold House қолдау көрсетеді. Мақалалар зерттеулерімізде.

06. Аудармадағы іргелі модель генеративті ЖИ ме?

Дәстүрлі мағынада емес. IBM генеративті ЖИ-ді былай анықтайды:

Бұл жаңа нәрсе жасауға арналған мықты құрал. MLDM-де промпт жоқ, ештеңе ойдан шығарылмайды: ол бар нәрсені басқа тілге жеткізеді. «Генеративті ЖИ» емес, шығармашыл адамдарға жол ашатын аударма. Адамнан адамға, аудиторияны қамтуды кеңейтеміз.

Осы сериядағы басқа мақалалар: Аудиовизуалды аударма бірден, каскадсыз, Мультимодальды аудармадағы іргелі модель студиялар мен платформаларға не береді және Мультимодальды аудармаға жол салу.

СҰРАҚТАР