КОНТРОЛ

Записът на решенията: как творческите директори насочват MLDM

FAMILIAR ИЗСЛЕДВАНИЯОБНОВЕНО ВСИЧКИ СТАТИИ

РЕЗЮМЕ

MLDM е първият фундаментален модел за мултимодален превод, нова парадигма, първата по рода си. Всяко решение, което взима, се записва към дублажа: четете го, променяте го и запазвате избора за следващия епизод. Решенията за превода се преглеждат днес; тези за звука и картината са в разработка.
ПЪРВИЯТ ФУНДАМЕНТАЛЕН МОДЕЛ ЗА МУЛТИМОДАЛЕН ПРЕВОД

Решенията, които насочвате днес

  1. 01

    Първо се връща преводът.

  2. 02

    Където една реплика може да прозвучи по повече от един начин, стъпката за преглед връща три варианта, всеки за различно намерение и емоция, с обосновката зад всеки.

  3. 03

    Творческите ви директори избират един или пишат свой, после пускат рендера.

Същият преглед обхваща и решенията за локализацията, като се започне с това какво да не се превежда: жаргонът, оставен, както е казан, името и марката, които се запазват, препратката, сменена с позната на публиката, онова, което тази култура избягва, и ругатните, смекчени за версия за по-млада публика.

Игра на думи, от корейски на английски

„사과하려고 사과 사 왔어.“ се крепи на това, че 사과 означава и извинение, и ябълка. Връщат се три варианта:

  • "Apples. I'm sorry, right down to the core." Играта на думи е запазена.
  • "I came to say sorry. I brought apples." Само смисълът.
  • "An apple a day keeps the silent treatment away." Нова шега.

Творческият директор избра първия и го редактира.

Заядлива реплика, от китайски на английски

„你可真行啊。“ звучи като похвала или като заядливост според сцената:

  • "Wow. You're incredible." Искрено.
  • "Well, aren't you something." Саркастично, това е изборът.
  • "Look at you, hotshot." Закачливо.

Подкаст, епизод или филм съдържа много такива сегменти: шегите, разговорите, историите.

Решенията за звука

MLDM решава какво изобщо да се преведе. Намира основния глас, пренася го в новия език със собствения глас на говорещия и оставя останалото, както си е било. Показването на всеки спорен момент в звука пред екипа ви е в разработка.

Какво остава на оригиналния език: скандиране на стадион, оставено на корейски; вик през кухнята; крилата фраза, която феновете знаят. Говорещият на заден план, когото никой не може да различи, остава, както си е бил, или се връща като избор все пак да бъде преведен.

Решенията за картината

В РАЗРАБОТКА

КОЙ ВСЪЩНОСТ ГОВОРИ
КАКВО СЕ ЗАПИСВАЛицето, от което се чува репликата, разказвачът, гласът зад кадър.
КАКВО МОЖЕТЕ ДА НАПРАВИТЕКогато моделът избере грешния говорещ, вие избирате лицето измежду кандидатите и устните се движат на правилния човек.
ТЕКСТЪТ В КАДЪРА
КАКВО СЕ ЗАПИСВАЕкранът на телефона с надпис 내일 봐, уличен знак, табела на магазин и онова, което моделът в движение е оставил, както е заснето: марката върху пликче Tostitos, име.
КАКВО МОЖЕТЕ ДА НАПРАВИТЕВсеки елемент се пише с термините, които вече сте избрали, като "See you tomorrow", или остава, както е заснет.
МИМИКА И ЖЕСТОВЕ
КАКВО СЕ ЗАПИСВАСледват акцента на новата реплика или културата.
КАКВО МОЖЕТЕ ДА НАПРАВИТЕПовдигната вежда, която новата публика разчита различно, може да остане, както е заснета.

Записано към дублажа

Записът е това, което прави MLDM нова парадигма, първата по рода си: модел, който показва решенията си.

++
Записът на решенията, в разработка, съдържа всяко решение с вариантите, обосновката, какво е избрано и от кого: от модела, от вас или от паметта.

Той е отворен по време на прегледа и заключен при рендера. Променете решение в доставен дублаж и пуснете рендера отново; рендерират се наново само езиците, които то засяга. Дублаж, рендериран с review=auto, също попълва записа с изборите на модела. Самият дублаж се прави с един замах от тези решения: гласът, устните и сцената заедно. Днешните инструменти, които дублират с един замах, работят обратно: качвате веднъж и получавате каквото излезе. Пътят към високо качество запазва контрола на ръка, с помощен инструмент, екип от VFX артисти и седмици за всеки проект. Familiar е и с един замах, и с качеството.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Избор, направен веднъж, важи и за следващия епизод

  1. ДНЕС

    Две постоянни решения работят още днес.

    „Не превеждай“ запазва фразата, както е казана, а „Контекст“ дава брифинг от едно изречение; задавате и двете преди дублажа. Записът съдържа решенията, които моделът е взел по време на него.
  2. В РАЗРАБОТКА

    Памет за решенията.

    Запомнете промяна за даден създател, предаване, канал или човек и следващият дублаж ще я приложи първа, когато се върнат същата реплика, термин, име, скандиране, надпис или лице. Крилатата фраза, оставена на оригиналния език, важи и за епизод 2 без втори преглед.

На екрана за преглед и в API

В разработка: екранът за преглед получава лента с решенията. Времевата линия на епизода носи маркер за всяко решение, с филтър по превод, звук или картина; всяка карта показва момента, вариантите с обосновката и осветения избор на модела. С едно докосване избирате друг вариант, пишете свой, запазвате оригинала или запомняте избора за този създател.

API връща същия запис, така че избор, направен на екрана, се вижда в API и обратно. Планираната повърхност, изцяло в разработка:

GET /v1/dubs/{dub_id}/decisions
КАКВО ПРАВИЧете записа.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
КАКВО ПРАВИПроменя едно решение.
decisions.*
КАКВО ПРАВИНастройките на нов дублаж определят колко варианта се връщат, нивото на ругатните и кои решения се връщат при вас.
dub.decisions_ready
КАКВО ПРАВИУебхукът се задейства, когато записът е отворен.
decisions.json
КАКВО ПРАВИСъдържа целия запис към всеки доставен дублаж.

Справочникът е в Решения; днешната стъпка за преглед е в Транскрипция и преглед.

ВЪПРОСИ

Кои решения мога да променям днес?

Решенията за превода. Реплика, която може да прозвучи по повече от един начин, се връща като три варианта, всеки с обосновката си; творческите ви директори избират един или пишат свой, после пускат рендера. Решенията за звука и картината са в разработка.

Мога ли да оставя скандиране на оригиналния език?

Този избор е в разработка. Скандиране на стадион, вик или крилата фраза ще се връщат като решение за звука, което можете да оставите на изходния език, а изборът може да важи и за следващия епизод.

Ами ако моделът е избрал грешното лице?

Изборът на друго лице е в разработка. Репликата ще се връща с лицата кандидати; вие избирате правилния говорещ и устните се движат на този човек.

Пренася ли се изборът към следващия епизод?

Паметта за решенията е в разработка: промяна, запомнена за даден създател, се прилага първа при следващия дублаж. Днес „Не превеждай“ и „Контекст“ важат за дублажите, за които сте ги задали.

Записват ли се решенията и при review=auto?

Да. В планирания запис дублаж, рендериран без преглед, пак записва всяко решение с избора на модела и то може да се прочете след рендера. Можете да промените решение и да пуснете рендера отново.

Генеративен изкуствен интелект ли е това?

Не. MLDM е нова парадигма, първата по рода си. Няма промпт и нищо ново не се измисля: моделът решава как да се локализира онова, което вече е там, и ви показва тези решения.

ИЗТОЧНИЦИ

  1. [1]Какво е мултимодален модел за вземане на решения при локализация (MLDM)?
  2. [2]API: Решения
  3. [3]API: Транскрипция и преглед

Мултимодален превод

Familiar Labs създава дублаж от ново поколение с мултимодален модел за вземане на решения при локализация (MLDM), първия фундаментален модел за мултимодален превод: един модел решава какво да се локализира в текста, звука и картината и ви показва вариантите. Вашият глас и устни, пренесени на нови езици. Екип от 8 души с PhD, с подкрепата на Samsung, RedBird и Gold House. Нашата мисия