КОНТРОЛА

Запис одлука: како креативни директори усмеравају MLDM

FAMILIAR ИСТРАЖИВАЊААЖУРИРАНО СВИ ЧЛАНЦИ

САЖЕТАК

MLDM је први фундаментални модел за мултимодални превод, нова парадигма, прва те врсте. Свака одлука коју донесе бележи се уз синхронизацију: читате је, преиначите је и задржите избор за следећу епизоду. Одлуке о преводу прегледају се већ данас; оне о звуку и слици су у припреми.
ПРВИ ФУНДАМЕНТАЛНИ МОДЕЛ ЗА МУЛТИМОДАЛНИ ПРЕВОД

Одлуке које усмеравате већ данас

  1. 01

    Превод стиже први.

  2. 02

    Где реплика може да се схвати на више начина, корак прегледа враћа три варијанте превода, сваку за другачију намеру и емоцију, са образложењем за сваку.

  3. 03

    Ваши креативни директори бирају једну или пишу своју, па покрећу рендер.

Исти преглед обухвата и одлуке о локализацији, пре свега шта не преводити: сленг задржан онако како је изговорен, име и бренд задржани, референца замењена оном коју публика познаје, оно што та култура избегава и псовке ублажене за верзију за млађу публику.

Игра речи, са корејског на енглески

„사과하려고 사과 사 왔어.“ почива на томе што 사과 значи и извињење и јабуку. Враћају се три варијанте:

  • „Apples. I'm sorry, right down to the core.“ Игра речи задржана.
  • „I came to say sorry. I brought apples.“ Само значење.
  • „An apple a day keeps the silent treatment away.“ Нова шала.

Креативни директор је изабрао прву и дорадио је.

Жаока, са кинеског на енглески

„你可真行啊。“ звучи као похвала или као жаока, зависно од сцене:

  • „Wow. You're incredible.“ Искрено.
  • „Well, aren't you something.“ Саркастично, изабрана варијанта.
  • „Look at you, hotshot.“ Задиркујуће.

Подкаст, епизода или филм имају много таквих сегмената: шале, разговоре, приче.

Одлуке о звуку

MLDM одлучује шта уопште превести. Проналази главни глас, преноси га на нови језик сопственим гласом говорника, а остало оставља какво је било. Приказивање сваке тесне одлуке у звуку вашем тиму је у припреми.

Шта остаје на изворном језику: скандирање на стадиону, задржано на корејском; узвик преко кухиње; узречица коју фанови знају. Говорник у позадини кога нико не може да разабере остаје какав је био или се враћа као избор да се ипак преведе.

Одлуке о слици

У ПРИПРЕМИ

КО ЗАИСТА ГОВОРИ
ШТА СЕ БЕЛЕЖИЛице из ког се реплика чује, наратор, глас ван кадра.
ШТА МОЖЕТЕ ДА УРАДИТЕКад модел изабере погрешног говорника, ви бирате лице међу понуђенима, а усне се померају на правој особи.
ТЕКСТ У КАДРУ
ШТА СЕ БЕЛЕЖИЕкран телефона на ком пише 내일 봐, улична табла, излог и оно што је модел у ходу задржао онако како је снимљено: бренд на кесици Tostitos, име.
ШТА МОЖЕТЕ ДА УРАДИТЕСвака ставка се исписује терминима које сте већ изабрали, као „See you tomorrow“, или остаје онако како је снимљена.
ИЗРАЗИ ЛИЦА И ГЕСТОВИ
ШТА СЕ БЕЛЕЖИПрате нагласак нове реплике или културу.
ШТА МОЖЕТЕ ДА УРАДИТЕПодигнута обрва коју нова публика другачије чита може да остане онаква каква је снимљена.

Забележено уз синхронизацију

Запис је оно што MLDM чини новом парадигмом, првом те врсте: модел који показује своје одлуке.

++
Запис одлука, у припреми, чува сваку одлуку са њеним опцијама, образложењем, оним што је изабрано и ко је изабрао: модел, ви или памћење.

Отворен је током прегледа и закључан при рендеровању. Промените одлуку на испорученој синхронизацији и покрените рендер поново; поново се рендерују само језици које та одлука дотиче. Синхронизација рендерована уз review=auto и даље пише запис, са изборима модела. Сама синхронизација настаје у једном пролазу из тих одлука: глас, усне и сцена заједно. Данашњи алати у једном пролазу раде обрнуто: отпремите једном и добијете оно што изађе. Пут до високог квалитета контролу задржава ручно, уз помоћни алат, тим VFX уметника и седмице рада по пројекту. Familiar је један пролаз и квалитет.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Избор донет једном прати и следећу епизоду

  1. ДАНАС

    Две трајне одлуке раде већ данас.

    Листа Не преводити чува фразу онако како је изговорена, а контекст даје сажетак у једној реченици; обоје подешавате пре синхронизације. Запис чува одлуке које је модел донео током ње.
  2. У ПРИПРЕМИ

    Памћење одлука.

    Запамтите измену за креатора, једну серију, канал или особу, и следећа синхронизација је примењује прва кад се иста реплика, термин, име, скандирање, натпис или лице поново појаве. Узречица задржана у оригиналу прати 2. епизоду без другог прегледа.

На екрану за преглед и у API-ју

У припреми: екран за преглед добија траку одлука. Временска линија епизоде носи ознаку за сваку одлуку, са филтером за превод, звук или слику; свака картица приказује тренутак, опције са образложењем и истакнут избор модела. Једним додиром бирате другу опцију, уносите своју, задржавате оригинал или памтите избор за овог креатора.

API враћа исти запис, па се избор направљен на екрану види у API-ју и обрнуто. Планирана површина, у целости у припреми:

GET /v1/dubs/{dub_id}/decisions
ШТА РАДИЧита запис.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
ШТА РАДИПреиначује једну одлуку.
decisions.*
ШТА РАДИПодешавања нове синхронизације одређују колико се варијанти превода враћа, ниво псовки и које одлуке се враћају вама.
dub.decisions_ready
ШТА РАДИWebhook се активира кад је запис отворен.
decisions.json
ШТА РАДИНоси цео запис уз сваку испоручену синхронизацију.

Референца је на страници Одлуке; данашњи корак прегледа је на страници Транскрипт и преглед.

ПИТАЊА

Које одлуке могу да променим већ данас?

Одлуке о преводу. Реплика која може да се схвати на више начина враћа се као три варијанте превода, свака са образложењем; ваши креативни директори бирају једну или пишу своју, па покрећу рендер. Одлуке о звуку и слици су у припреми.

Могу ли да задржим скандирање на изворном језику?

Тај избор је у припреми. Скандирање на стадиону, узвик или узречица вратиће се као одлука о звуку коју можете задржати на изворном језику, а избор може да прати и следећу епизоду.

Шта ако је модел изабрао погрешно лице?

Избор другог лица је у припреми. Реплика ће се вратити са понуђеним лицима; ви бирате правог говорника, а усне се померају на тој особи.

Да ли избор прелази на следећу епизоду?

Памћење одлука је у припреми: измена запамћена за креатора примењује се прва на следећој синхронизацији. Данас листа Не преводити и контекст важе за све синхронизације за које их подесите.

Да ли review=auto и даље бележи одлуке?

Да. У планираном запису синхронизација рендерована без прегледа и даље бележи сваку одлуку са избором модела, доступну за читање после рендеровања. Једну можете да промените и поново покренете рендер.

Да ли је ово генеративни AI?

Не. MLDM је нова парадигма, прва те врсте. Нема упита и ништа ново се не измишља: одлучује како да локализује оно што већ постоји и показује вам те одлуке.

ИЗВОРИ

  1. [1]Шта је мултимодални модел одлучивања о локализацији (MLDM)?
  2. [2]API: Одлуке
  3. [3]API: Транскрипт и преглед

Мултимодални превод

Familiar Labs развија генерацијски бољу синхронизацију помоћу мултимодалног модела одлучивања о локализацији (MLDM), првог фундаменталног модела за мултимодални превод: један модел одлучује шта локализовати у тексту, звуку и слици и показује вам изборе. Ваш глас и ваше усне, пренети на нове језике. Тим од 8 са докторима наука. Подржавају их Samsung, RedBird и Gold House. Наша мисија