КІРАВАННЕ

Журнал рашэнняў: як крэатыўныя дырэктары кіруюць MLDM

FAMILIAR · ДАСЛЕДАВАННІАБНОЎЛЕНА УСЕ АРТЫКУЛЫ

АНАТАЦЫЯ

MLDM з'яўляецца першай фундаментальнай мадэллю для мультымадальнага перакладу, новай парадыгмай, першай у сваім родзе. Кожнае яе рашэнне фіксуецца разам з дубляжом: вы яго чытаеце, змяняеце і захоўваеце выбар для наступнай серыі. Рашэнні па перакладзе правяраюцца ўжо сёння; рашэнні па гуку і карцінцы ў распрацоўцы.
ПЕРШАЯ ФУНДАМЕНТАЛЬНАЯ МАДЭЛЬ ДЛЯ МУЛЬТЫМАДАЛЬНАГА ПЕРАКЛАДУ

Рашэнні, якімі вы кіруеце ўжо сёння

  1. 01

    Спачатку вяртаецца пераклад.

  2. 02

    Калі рэпліку можна перадаць па-рознаму, этап праверкі вяртае тры варыянты, кожны пад свой намер і эмоцыю, з абгрунтаваннем кожнага.

  3. 03

    Вашы крэатыўныя дырэктары выбіраюць адзін ці пішуць свой, а потым запускаюць рэндэр.

Тая самая праверка ахоплівае і рашэнні лакалізацыі, пачынаючы з таго, што не перакладаць: слэнг застаецца такім, як сказаны, імя і брэнд не мяняюцца, адсылка замяняецца на знаёмую гледачам, абыходзіцца тое, чаго пазбягае культура, а ненарматыўнай лексікі меней у версіі для маладзейшых гледачоў.

Каламбур, з карэйскай на англійскую

«사과하려고 사과 사 왔어.» трымаецца на тым, што 사과 значыць і «прабачэнне», і «яблык». Вяртаюцца тры варыянты:

  • «Apples. I'm sorry, right down to the core.» Каламбур захаваны.
  • «I came to say sorry. I brought apples.» Толькі сэнс.
  • «An apple a day keeps the silent treatment away.» Новы жарт.

Крэатыўны дырэктар выбраў першы і адрэдагаваў яго.

Шпілька, з кітайскай на англійскую

«你可真行啊。» чытаецца як пахвала ці як шпілька, у залежнасці ад сцэны:

  • «Wow. You're incredible.» Шчыра.
  • «Well, aren't you something.» Саркастычна, выбраны варыянт.
  • «Look at you, hotshot.» Жартаўліва.

У падкасце, серыі ці фільме такіх фрагментаў шмат: жарты, размовы, гісторыі.

Рашэнні па гуку

MLDM вырашае, што ўвогуле перакладаць. Яна знаходзіць галоўны голас, пераносіць яго ў новую мову ўласным голасам моўцы і пакідае астатняе такім, як было. Паказ вашай камандзе кожнага спрэчнага моманту ў гуку ў распрацоўцы.

Што застаецца на мове арыгінала: скандаванне на стадыёне, якое застаецца па-карэйску; выкрык праз усю кухню; крылатая фраза, якую ведаюць фанаты. Моўца на заднім плане, якога ніхто не разбярэ, застаецца такім, як быў, або вяртаецца да вас як выбар: усё ж перакласці.

Рашэнні па карцінцы

У РАСПРАЦОЎЦЫ

ХТО НАСАМРЭЧ ГЭТА КАЖА
ШТО ФІКСУЕЦЦАТвар, ад якога чуваць рэпліку, апавядальнік, голас з-за кадра.
ШТО ВЫ МОЖАЦЕ ЗРАБІЦЬКалі мадэль памылілася з моўцам, вы выбіраеце твар сярод кандыдатаў, і губы рухаюцца ў патрэбнага чалавека.
ТЭКСТ У КАДРЫ
ШТО ФІКСУЕЦЦАЭкран тэлефона з надпісам 내일 봐, вулічная таблічка, шыльда крамы і тое, што мадэль на хаду пакінула так, як знята: брэнд на пачку Tostitos, імя.
ШТО ВЫ МОЖАЦЕ ЗРАБІЦЬКожны элемент пішацца ў тых тэрмінах, што вы ўжо выбралі, як «See you tomorrow», або застаецца так, як знята.
МІМІКА І ЖЭСТЫ
ШТО ФІКСУЕЦЦАЯны ідуць за націскам новай рэплікі ці за культурай.
ШТО ВЫ МОЖАЦЕ ЗРАБІЦЬПаднятае брыво, якое новая аўдыторыя прачытае інакш, можна пакінуць так, як знята.

Фіксуецца разам з дубляжом

Менавіта журнал робіць MLDM новай парадыгмай, першай у сваім родзе: мадэллю, якая паказвае свае рашэнні.

++
Журнал рашэнняў, які ў распрацоўцы, захоўвае кожнае рашэнне з варыянтамі, абгрунтаваннем, тым, што выбрана і кім: мадэллю, вамі ці памяццю.

Ён адкрыты на этапе праверкі і зачыняецца пры рэндэры. Змяніце рашэнне ў ужо дастаўленым дубляжы і запусціце рэндэр зноў; перарэндэрацца толькі тыя мовы, якіх яно тычыцца. Дубляж з review=auto таксама піша журнал, з выбарам мадэлі. Сам дубляж робіцца з гэтых рашэнняў за адзін праход: голас, губы і сцэна разам. Сённяшнія інструменты за адзін праход працуюць наадварот: адзін раз запампавалі, і што выйшла, тое і атрымалі. Шлях да высокай якасці захоўвае кантроль уручную, з дапаможным інструментам, камандай VFX-мастакоў і тыднямі на кожны праект. Familiar дае і адзін праход, і якасць.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Выбар, зроблены аднойчы, пераходзіць у наступную серыю

  1. СЁННЯ

    Ужо сёння працуюць два пастаянныя рашэнні.

    Спіс «Не перакладаць» захоўвае фразу такой, як яна сказана, а кантэкст дае інструктаж адным сказам; абодва вы задаеце перад дубляжом. Журнал захоўвае рашэнні, якія мадэль прыняла падчас яго.
  2. У РАСПРАЦОЎЦЫ

    Памяць рашэнняў.

    Запомніце змену для аўтара (аднаго шоу, канала ці чалавека), і наступны дубляж першай ужые яе, калі вернецца тая самая рэпліка, тэрмін, імя, скандаванне, шыльда ці твар. Крылатая фраза, пакінутая на мове арыгінала, пераходзіць у 2-ю серыю без паўторнай праверкі.

На экране праверкі і ў API

У распрацоўцы: на экране праверкі з'явіцца панэль рашэнняў. На часавай шкале серыі для кожнага рашэння стаіць пазнака з фільтрам па перакладзе, гуку ці карцінцы; кожная картка паказвае момант, варыянты з абгрунтаваннем і падсвечаны выбар мадэлі. Адзін націск выбірае іншы варыянт, дазваляе ўпісаць свой, пакінуць арыгінал або запомніць выбар для гэтага аўтара.

API вяртае той самы журнал, таму выбар, зроблены на экране, бачны ў API, і наадварот. Запланаваная паверхня, уся ў распрацоўцы:

GET /v1/dubs/{dub_id}/decisions
ШТО РОБІЦЬЧытае журнал.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
ШТО РОБІЦЬЗмяняе адно рашэнне.
decisions.*
ШТО РОБІЦЬНалады новага дубляжу вызначаюць, колькі варыянтаў вяртаецца, узровень ненарматыўнай лексікі і якія рашэнні вяртаюцца да вас.
dub.decisions_ready
ШТО РОБІЦЬВэбхук спрацоўвае, калі журнал адкрыты.
decisions.json
ШТО РОБІЦЬНясе поўны журнал з кожным дастаўленым дубляжом.

Даведнік ляжыць у раздзеле Рашэнні; сённяшні этап праверкі апісаны ў раздзеле Транскрыпцыя і праверка.

ПЫТАННІ

Якія рашэнні я магу змяніць ужо сёння?

Рашэнні па перакладзе. Рэпліка, якую можна перадаць па-рознаму, вяртаецца трыма варыянтамі, кожны з абгрунтаваннем; вашы крэатыўныя дырэктары выбіраюць адзін ці пішуць свой, а потым запускаюць рэндэр. Рашэнні па гуку і карцінцы ў распрацоўцы.

Ці можна пакінуць скандаванне на мове арыгінала?

Гэты выбар у распрацоўцы. Скандаванне на стадыёне, выкрык ці крылатая фраза вернуцца як рашэнне па гуку, якое можна пакінуць на мове арыгінала, і гэты выбар можа перайсці ў наступную серыю.

А калі мадэль выбрала не той твар?

Выбар іншага твару ў распрацоўцы. Рэпліка вернецца з тварамі-кандыдатамі; вы выбіраеце патрэбнага моўцу, і губы рухаюцца ў гэтага чалавека.

Ці пераходзіць выбар у наступную серыю?

Памяць рашэнняў у распрацоўцы: змена, запомненая для аўтара, першай ужываецца ў наступным дубляжы. Сёння спіс «Не перакладаць» і кантэкст дзейнічаюць ва ўсіх дубляжах, для якіх вы іх задалі.

Ці фіксуе рашэнні рэжым review=auto?

Так. У запланаваным журнале дубляж без праверкі ўсё роўна піша кожнае рашэнне з выбарам мадэлі, і яго можна прачытаць пасля рэндэру. Вы можаце змяніць адно і запусціць рэндэр зноў.

Гэта генератыўны ШІ?

Не. MLDM з'яўляецца новай парадыгмай, першай у сваім родзе. Промпту няма, і нічога новага не выдумляецца: мадэль вырашае, як лакалізаваць тое, што ўжо ёсць, і паказвае вам гэтыя рашэнні.

КРЫНІЦЫ

  1. [1]Што такое мультымадальная мадэль прыняцця рашэнняў у лакалізацыі (MLDM)?
  2. [2]API: Рашэнні
  3. [3]API: Транскрыпцыя і праверка

Мультымадальны пераклад

Familiar Labs робіць дубляж новага пакалення з дапамогай мультымадальнай мадэлі прыняцця рашэнняў у лакалізацыі (MLDM), першай фундаментальнай мадэлі для мультымадальнага перакладу: адна мадэль вырашае, што лакалізаваць у тэксце, гуку і карцінцы, і выносіць варыянты на ваш выбар. Ваш голас і губы, перанесеныя ў новыя мовы. Гэта каманда з 8 чалавек з PhD, якую падтрымліваюць Samsung, RedBird і Gold House. Наша місія