Што фундаментальная мадэль для мультымадальнага перакладу азначае для студый і платформаў

01. Што фундаментальная мадэль мяняе ў дубляжы?

Раней машынны дубляж быў каскадам асобных інструментаў: транскрыпцыя, потым пераклад, потым голас, потым ліпсінк. Кожны этап гадаў, не ведаючы пра астатнія, і памылкі пераходзілі ад этапа да этапа. Тое, з чым сёння сутыкаецца пакупнік, мяняе якасць на час. Дапаможныя інструменты дасягаюць якасці з камандай VFX-мастакоў: тыдні на кожны праект, і кожная мова становіцца новым праектам. Інструменты за адзін праход хуткія і ахвяруюць усім астатнім: пераклад нельга адрэдагаваць, голас губляе падабенства, музыка і атмасфера памяшкання знікаюць, а губы не спраўляюцца, калі твар закрывае рука ці мікрафон, кадр размыты або з бокэ, зняты збоку ці ў ім некалькі чалавек. Ні прасторавага мыслення, ні разумення свету, ні кантролю. Familiar замяняе ланцуг адной мультымадальнай мадэллю прыняцця рашэнняў у лакалізацыі (MLDM): і адзін праход, і якасць.

++

Спачатку пераклад, потым увесь дубляж за адзін праход: голас, губы і сцэна разам.

Аўдыявізуальны пераклад адразу, а не каскадам: першы ў сваім родзе. Азначэнне ў артыкуле Першая фундаментальная мадэль для мультымадальнага перакладу; параўнанне з каскадам крок за крокам у артыкуле Аўдыявізуальны пераклад адразу, а не каскадам.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Ці можа адна запампоўка ахапіць усе рынкі, дзе мы прадаём?

Так. Матэрыял на любой з 99 зыходных моў запампоўваецца адзін раз, а дубляж выходзіць на любой з 30 моў, якія вы заказваеце: усе мовы з адной запампоўкі, і ўсюды тая самая ігра. Сезон, бібліятэка ці стужка вертыкальных серый ідуць тым самым шляхам, а тэрміны, зададзеныя аднойчы, пераходзяць у наступную серыю.

Поўны дубляж людзьмі, пераклад плюс голас, каштуе ад $70 да $150 за гатовую хвіліну. Пры такім кошце ён недаступны для большай часткі свету. Нават буйныя праекты дублююць толькі на некалькі моў з-за кошту, людзей і часу, якіх ён патрабуе.

Гэты разрыў і закрывае Familiar. Не «генератыўны ШІ», а пераклад на службе творцаў. MLDM бярэ на сябе руціну. Ад чалавека да чалавека, да новых гледачоў па ўсім свеце.

03. Хто вырашае, як рэпліка прагучыць на іншай мове?

MLDM вырашае, што лакалізаваць і як, у тэксце, гуку і карцінцы. Важны выбар застаецца за вашай камандай. Спачатку ідзе пераклад, і калі рэпліку можна перадаць па-рознаму, вашы крэатыўныя дырэктары бачаць варыянты і абгрунтаванне кожнага яшчэ да дубляжу.

Кожнае рашэнне фіксуецца разам з заданнем, і любое з іх можна змяніць. Падрабязна ў артыкуле Журнал рашэнняў: як крэатыўныя дырэктары кіруюць MLDM. Калі браць толькі словы, пераклад ідзе нароўні з вопытнымі перакладчыкамі-людзьмі: 100.3% ад іх якасці, паводле вымярэнняў бенчмарку.

04. Што вяртаецца разам з гатовым дубляжом?

Пакет, які ваша каманда постпрадакшну можа адразу ўставіць у рэліз, па спецыфікацыі, якую патрабуе стрымінг. Гук сцэны застаецца такім, як быў: музыка, атмасфера і смех захоўваюцца, і мову мяняе толькі маўленне.

Субцітры будуюцца з праверанага перакладу і нарэзаныя паводле канвенцый Timed Text Style Guide ад Netflix, стандарту шаблонаў субцітраў, на які арыентуецца індустрыя. Усе файлы і фарматы пералічаныя ў дакументацыі па выніковых файлах.

05. Дзе апрацоўваюцца нашы матэрыялы?

Неапублікаваны матэрыял студыя ахоўвае больш за ўсё. Кожны дубляж апрацоўваецца на ўласным кластары Familiar коштам у дзясяткі мільёнаў долараў з графічных працэсараў NVIDIA B300 у Таронта, у Канадзе, на вылічальных магутнасцях, якія належаць Familiar.

Шлях дубляжу і адказы для вашай праверкі бяспекі ёсць у дакументацыі па прыватным інферэнсе.

06. Што даступна сёння, а што ў распрацоўцы?

1. СЁННЯ

   Усе мовы з адной запампоўкі, з уласным голасам і губамі акцёра.

   30 моў на выхадзе, 99 зыходных моў на ўваходзе; да 4K, сапраўдны мікс 5.1 або стэрэа, субцітры.
2. СЁННЯ

   Вашы крэатыўныя дырэктары правяраюць рашэнні па перакладзе.

   Варыянты з абгрунтаваннем кожнага, зафіксаваныя разам з заданнем.
3. У РАСПРАЦОЎЦЫ

   Рашэнні па гуку і карцінцы, на тым самым этапе праверкі.

   Што застаецца на мове арыгінала, іншы твар, які тэкст у кадры перакладаць.
4. У РАСПРАЦОЎЦЫ

   Дубляж ужывую.

Доступ па кантракце Studio, пад памер вашага каталога: абмяркуйце з камандай свае тайтлы, мовы і спецыфікацыю дастаўкі. Каманда складаецца з доктараў навук, якія заснавалі галіну сумесных аўдыявізуальных мадэляў чалавека: 22 артыкулы, больш за 10,000 цытаванняў, а дарадцы праф. Xu Zheng і праф. Youngjung Uh; падтрымка Samsung, RedBird і Gold House. Даследаванні сабраныя ў раздзеле нашы артыкулы і ў артыкуле Першапраходцы мультымадальнага перакладу; гісторыя заснавальніка на старонцы нашай місіі.

ПЫТАННІ