Першая фундаментальная мадэль для мультымадальнага перакладу

01. Што такое фундаментальная мадэль для мультымадальнага перакладу?

Відэа кажа больш, чым яго словы. Сэнс нясуць і голас моўцы, і тое, як рухаецца яго рот, і смех у памяшканні, і музыка пад сцэнай. Добра перакласці відэа значыць перанесці ўсё гэта і захаваць узгодненасць: рэпліка павінна легчы на рот, голас павінен сядзець у сцэне, а чалавек у кадры павінен застацца роўна тым, кім ён ёсць.

Фундаментальная мадэль для мультымадальнага перакладу робіць усю гэтую працу адна. Яна бярэ матэрыял як адно цэлае і вырашае, як кожная яго частка павінна прагучаць на новай мове. Familiar пабудаваў першую такую мадэль і назваў яе MLDM.

02. Чаму дубляж дагэтуль ішоў праз асобныя інструменты?

Дубляж людзьмі заўсёды заставаўся недаступным для большай часткі свету. Нават буйныя праекты дублююць толькі на некалькі моў з-за кошту, людзей і часу; меншыя праекты, шоу і вертыкальныя драмы не дублююць увогуле. Поўны дубляж людзьмі, пераклад плюс голас, каштуе ад $70 да $150 за гатовую хвіліну.

03. Што змяняецца, калі адна мадэль нясе ўсё адначасова?

++

Аўдыявізуальны пераклад адразу, а не каскадам: першы ў сваім родзе.

Ігра таго самага акцёра праходзіць цалкам: яго ўласны голас, губы, што рухаюцца пад новыя словы, яго міміка і гук сцэны вакол. Смех, натоўп і музыка застаюцца такімі, як былі. На тых самых кліпах у YouTube было на 232.6% больш памылак у фонавым гуку, чым у Familiar. Калі браць толькі словы, пераклад ідзе нароўні з першым праходам вопытнага прафесіянала: 100.3% ад яго якасці. Поўныя лічбы ёсць на старонцы бенчмарку.

Мяняецца і праца вакол дубляжу. Сёння шлях да высокай якасці дапаможны: каманда VFX-мастакоў тыднямі працуе кадр за кадрам, і кожная мова становіцца новым праектам. Сённяшнія інструменты за адзін праход хуткія і ахвяруюць усім астатнім: пераклад нельга адрэдагаваць, музыка і атмасфера памяшкання знікаюць, а губы не спраўляюцца са звычайнымі кадрамі, калі твар закрывае рука ці мікрафон, кадр размыты або з бокэ, зняты збоку ці ў ім некалькі чалавек. Ні прасторавага мыслення, ні разумення свету. Familiar дае і адзін праход, і якасць: адна запампоўка нясе відэа на ўсе выбраныя мовы адразу, а рашэнні ўзгодненыя, бо іх прымае адна мадэль, таму нічога не трэба сшываць назад уручную.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Што вырашае MLDM і што выбіраеце вы?

Мультымадальная мадэль прыняцця рашэнняў у лакалізацыі і ёсць сама мадэль. MLDM вырашае, што лакалізаваць і як, у тэксце, гуку і карцінцы. Поўнае азначэнне ў артыкуле Што такое мультымадальная мадэль прыняцця рашэнняў у лакалізацыі (MLDM)?

1. СЁННЯ

   Рашэнні па перакладзе, якія правяраюць вашы крэатыўныя дырэктары.

   Кожнае рашэнне фіксуецца разам з заданнем. Любое з іх можна змяніць.
2. У РАСПРАЦОЎЦЫ

   Рашэнні па гуку і карцінцы, на тым самым этапе праверкі.

3. У РАСПРАЦОЎЦЫ

   Тэкст у кадры і дубляж ужывую.

   Экран тэлефона ці вулічная таблічка, напісаныя ў тых тэрмінах, што вы ўжо выбралі; брэнд ці імя застаюцца так, як знята, і мадэль вырашае гэта на хаду: пачак Tostitos застаецца Tostitos.

Як фіксуецца гэты выбар, расказвае артыкул Журнал рашэнняў: як крэатыўныя дырэктары кіруюць MLDM.

05. Што дае студыі фундаментальная мадэль?

MLDM бярэ на сябе руціну. Творчыя рашэнні застаюцца ў людзей, якія стварылі праект; мадэль пераносіць астатняе на ўсе мовы адразу.

Кожны дубляж апрацоўваецца на гэтым кластары і ніколі ў старонняга правайдара інферэнсу, таму вашы матэрыялы ніколі не ўцякаюць. Падрабязнасці ў дакументацыі па прыватным інферэнсе і дакументацыі па выніковых файлах. За гэтым стаяць доктары навук, якія заснавалі галіну сумесных аўдыявізуальных мадэляў чалавека: 22 артыкулы, больш за 10,000 цытаванняў, а дарадцы праф. Xu Zheng і праф. Youngjung Uh; падтрымка Samsung, RedBird і Gold House. Артыкулы сабраныя ў раздзеле наша даследаванне.

06. Ці з'яўляецца фундаментальная мадэль для перакладу генератыўным ШІ?

Не ў традыцыйным сэнсе. IBM вызначае генератыўны ШІ так:

Гэта моцны інструмент для стварэння новага. У MLDM няма промпту, і нічога новага не выдумляецца: яна пераносіць у іншую мову тое, што ўжо ёсць. Не «генератыўны ШІ», а пераклад на службе творцаў. Ад чалавека да чалавека, да новых гледачоў па ўсім свеце.

Іншыя артыкулы гэтай серыі: Аўдыявізуальны пераклад адразу, а не каскадам, Што фундаментальная мадэль для мультымадальнага перакладу азначае для студый і платформаў і Першапраходцы мультымадальнага перакладу.

ПЫТАННІ