Мультимодальды аудармадағы іргелі модель студиялар мен платформаларға не береді

01. Іргелі модель дубляжда нені өзгертеді?

Бұрын машиналық дубляж бөлек құралдардың каскады болатын: транскрипция, сосын аударма, сосын дауыс, сосын липсинк. Әр кезең басқаларын білмей болжады, ал қателер кезеңнен кезеңге ауысты. Сатып алушы бүгін кездестіретін құралдар сапа мен уақыттың бірін құрбан етеді. Көмекші құралдар сапаға VFX мамандарының командасы арқылы жетеді: әр жобаға апталар, ал әр тіл жаңа жоба. Бір қадамдық құралдар жылдам, бірақ қалғанының бәрін құрбан етеді: аударманы түзету мүмкін емес, дауыс спикерден алшақтайды, музыка мен бөлме атмосферасы жоғалады, ал бетті жапқан қол, микрофон, бұлыңғырлық, боке, бүйірден түсірілім немесе кадрдағы бірнеше адам болса, ерін қимылы бұзылады. Кеңістіктік ойлау да, әлемді түсіну де, бақылау да жоқ. Familiar тізбекті бір мультимодальды локализациядағы шешім қабылдау моделімен (MLDM) алмастырады: бір қадамда және сапамен.

++

Алдымен аударма, сосын дубляж бір-ақ қадамда: дауыс, ерін қимылы және көрініс бірге.

Аудиовизуалды аударма бірден, каскадсыз: баламасы жоқ тұңғыш тәсіл. Анықтамасы Мультимодальды аудармадағы тұңғыш іргелі модель мақаласында; каскадпен қадам-қадаммен салыстыру Аудиовизуалды аударма бірден, каскадсыз мақаласында.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Бір жүктеу біз сататын барлық нарықты қамти ала ма?

Иә. 99 бастапқы тілдің кез келгеніндегі түсірілім бір рет жүктеледі, ал дубляждар сіз тапсырыс берген 30 шығыс тілдің кез келгенінде шығады: бір жүктеуден барлық тіл, әрқайсысында сол бір орындау. Маусым, кітапхана не вертикалды сериялар легі де сол жолмен жүреді, ал бір рет орнатқан терминдеріңіз келесі серияға да ауысады.

Адам жасайтын толық дубляж, аударма мен дауыс қоса, дайын минутына $70–150 тұрады. Мұндай бағамен ол әлемнің көп бөлігі үшін қолжетімсіз. Шығын, адам күші мен уақыт салдарынан ең ірі продакшндар да бірнеше тілге ғана дубляж жасатады.

Familiar дәл осы олқылықты жабады. «Генеративті ЖИ» емес, шығармашыл адамдарға жол ашатын аударма. Іш пыстыратын бөлікті MLDM атқарады. Адамнан адамға, аудиторияны қамтуды кеңейтеміз.

03. Реплика басқа тілде қалай естілетінін кім шешеді?

MLDM мәтінде, дыбыста және бейнеде нені және қалай локализациялау керегін шешеді. Маңызды таңдаулар командаңыздың қолында қалады. Алдымен аударма келеді, ал реплика бірнеше түрлі естілуі мүмкін жерде креативті директорларыңыз ештеңе дубляждалмай тұрып нұсқаларды және олардың негіздемесін көреді.

Әр шешім тапсырмамен бірге сақталады, кез келгенін өзгерте аласыз. Толық сипаттама Шешімдер тізімі: креативті директорлар MLDM-ді қалай басқарады мақаласында. Тек сөздердің өзінде аударма тәжірибелі адам аудармашыларымен тең түседі: олардың сапасының 100.3%-ы, бенчмаркте өлшенген.

04. Дайын дубляжбен бірге не қайтады?

Постпродакшн командаңыз релизге бірден қоса алатын, стриминг сервисі талап ететін спецификациядағы жеткізілім. Көрініс дыбысы бұрынғы күйінде қалады: музыка, атмосфера мен күлкі сақталады, тек сөйлеу тілі ғана өзгереді.

Субтитрлер тексерілген аудармадан жасалып, индустрия сүйенетін субтитр үлгілерінің стандарты, Netflix-тің Timed Text Style Guide талаптарына сай бөлінеді. Әр файл мен формат нәтижелер құжаттамасында көрсетілген.

05. Түсірілімдеріміз қай жерде өңделеді?

Шықпаған түсірілім студия ең қатты қорғайтын актив. Әр дубляж Канаданың Торонто қаласындағы, құны ондаған миллион долларға жететін Familiar-дың өз NVIDIA B300 GPU кластерінде, Familiar-ға тиесілі есептеу қуатында өңделеді.

Дубляждың жолы және қауіпсіздік тексеруіңізге жауаптар жеке инференс құжаттамасында.

06. Бүгін не қолжетімді, ал не әзірленіп жатыр?

1. БҮГІН

   Бір жүктеуден барлық тіл, актердің өз дауысы мен ернімен.

   30 шығыс тіл, 99 бастапқы тіл; 4K-ға дейін, нағыз 5.1 немесе стерео микс, субтитрлер.
2. БҮГІН

   Креативті директорларыңыз аударма шешімдерін тексереді.

   Нұсқалар әрқайсысының негіздемесімен, тапсырмамен бірге сақталады.
3. ӘЗІРЛЕНІП ЖАТЫР

   Дыбыс пен бейнеге қатысты шешімдер, сол тексеру экранында.

   Түпнұсқа тілде не қалатыны, басқа бет-әлпет, кадрдағы қай мәтінді аудару керегі.
4. ӘЗІРЛЕНІП ЖАТЫР

   Тікелей дубляж.

Қолжетімділік каталогыңызға сай Studio келісімшарты бойынша: туындыларыңыз, тілдеріңіз және жеткізу спецификацияңыз туралы командамен сөйлесіңіз. Команда бірлескен аудиовизуалды адам модельдері саласын бастаған PhD мамандарынан тұрады: 22 мақала, 10 000-нан астам дәйексөз, кеңесшілері Prof. Xu Zheng және Prof. Youngjung Uh, ал Samsung, RedBird және Gold House қолдау көрсетеді. Зерттеулер мақалаларымызда және Мультимодальды аудармаға жол салу мақаласында; негізін қалаушының хикаясы миссия бетімізде.

СҰРАҚТАР