Први фундаментални модел за мултимодални превод

01. Шта је фундаментални модел за мултимодални превод?

Видео каже више од својих речи. Глас говорника, начин на који му се уста померају, смех у просторији и музика испод сцене носе значење. Добро превести видео значи пренети све то и одржати сагласност: реплика мора да стане у уста, глас мора да припада сцени, а особа на екрану мора да остане тачно оно што јесте.

Фундаментални модел за мултимодални превод јесте један модел који ради цео тај посао. Снимак узима као целину и одлучује како сваки његов део треба да делује на новом језику. Familiar је направио први такав модел и назвао га MLDM.

02. Зашто је синхронизација до сада ишла кроз засебне алате?

Синхронизација коју раде људи одувек је била недоступна већем делу света. Чак и највеће продукције синхронизују тек неколико језика због трошкова, људи и времена; мање продукције, серије и вертикалне драме уопште се не синхронизују. Комплетна синхронизација коју раде људи, превод плус глас, кошта од $70 до $150 по готовом минуту.

03. Шта се мења кад један модел све преноси одједном?

++

Аудио-визуелни превод одједном, а не каскадно: први те врсте.

Изведба истог глумца стиже до публике: његов сопствени глас, усне које прате нове речи, изрази лица и звук сцене око њега. Смех, публика и музика остају какви су били. На истим клиповима YouTube је имао 232.6% више грешака у позадинском звуку него Familiar. Кад се гледају само речи, превод се изједначава са првим пролазом стручног професионалца: 100.3% њиховог квалитета. Комплетни бројеви су на бенчмарку.

Мења се и посао око синхронизације. Пут до високог квалитета данас је помоћни: тим VFX уметника ради кадар по кадар седмицама, а сваки језик је нови пројекат. Данашњи алати у једном пролазу су брзи и жртвују све остало: превод не може да се мења, музика и амбијент просторије нестају, а усне закажу на обичним кадровима, на руци преко лица, микрофону, замућењу, бокеу, профилу или више људи у кадру. Без просторног резоновања, без разумевања света. Familiar је један пролаз и квалитет: једно отпремање преноси видео на сваки језик који изаберете, одједном, а одлуке се слажу јер их доноси један модел, па ништа не мора ручно поново да се спаја.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. О чему MLDM одлучује, а шта бирате ви?

Мултимодални модел одлучивања о локализацији јесте сам модел. MLDM одлучује шта локализовати и како, у тексту, звуку и слици. Пуна дефиниција је у тексту Шта је мултимодални модел одлучивања о локализацији (MLDM)?

1. ДАНАС

   Одлуке о преводу, које прегледају ваши креативни директори.

   Свака одлука се бележи уз задатак. Сваку од њих можете преиначити.
2. У ПРИПРЕМИ

   Одлуке о звуку и слици, у истом прегледу.

3. У ПРИПРЕМИ

   Текст у кадру и синхронизација уживо.

   Екран телефона или улична табла исписани терминима које сте већ изабрали; бренд или име остају онакви какви су снимљени, о чему модел одлучује у ходу: кесица Tostitos остаје Tostitos.

Запис тих избора је у тексту Запис одлука: како креативни директори усмеравају MLDM.

05. Шта студио добија од фундаменталног модела?

MLDM за заморни део посла. Креативне одлуке остају људима који су дело направили; модел остало преноси на сваки језик одједном.

Свака синхронизација се обрађује на том кластеру, никада код спољног добављача услуга инференције, па ваш материјал никада не процури. Детаљи су у документацији о приватној инференцији и документацији о излазним датотекама. Иза свега стоје доктори наука који су започели област заједничких аудио-визуелних модела човека: 22 рада, преко 10,000 цитата, уз проф. Xu Zheng и проф. Youngjung Uh као саветнике, уз подршку компанија Samsung, RedBird и Gold House. Радови су у нашим истраживањима.

06. Да ли је фундаментални модел за превод генеративни AI?

Не у традиционалном смислу. IBM генеративни AI дефинише овако:

То је моћан алат за прављење нових ствари. MLDM нема упит и ништа ново се не измишља: оно што већ постоји преноси на други језик. Није „генеративни AI“, већ превод у служби стваралаца. Од човека до човека, за све ширу публику.

Остали радови у овој серији: Аудио-визуелни превод одједном, а не каскадно, Шта фундаментални модел за мултимодални превод доноси студијима и платформама и Пионири мултимодалног превода.

ПИТАЊА