Prvi temeljni model za multimodalno prevođenje

01. Što je temeljni model za multimodalno prevođenje?

Video govori više od svojih riječi. Govornikov glas, način na koji mu se miču usta, smijeh u prostoriji i glazba ispod scene, sve to nosi značenje. Dobro prevesti video znači prenijeti sve to i zadržati to usklađenim: redak mora sjesti u usta, glas mora pripadati sceni, a osoba na ekranu mora ostati točno onakva kakva jest.

Temeljni model za multimodalno prevođenje jedan je model koji obavlja cijeli taj posao. Snimku uzima kao cjelinu i odlučuje kako svaki njezin dio treba sjesti na novom jeziku. Familiar je napravio prvi takav model i zove ga MLDM.

02. Zašto je sinkronizacija dosad prolazila kroz zasebne alate?

Ljudska sinkronizacija većini svijeta oduvijek je bila nedostižna. Čak i vrhunske produkcije sinkroniziraju na tek nekoliko jezika zbog troška, ljudi i vremena; manje produkcije, serije i vertikalne drame uopće se ne sinkroniziraju. Potpuna ljudska sinkronizacija, prijevod plus glas, stoji $70 do $150 po gotovoj minuti.

03. Što se mijenja kad jedan model sve prenosi odjednom?

++

Audiovizualno prevođenje odjednom, a ne kaskadno: prvo takve vrste.

Izvedba istog glumca dolazi do publike: njegov vlastiti glas, usne koje se miču u ritmu novih riječi, njegovi izrazi lica i zvuk scene oko njega. Smijeh, žamor publike i glazba ostaju kakvi su bili. Na istim klipovima YouTube je imao 232.6% više pogrešaka u pozadinskom zvuku nego Familiar. Što se samih riječi tiče, prijevod je izjednačen s prvim prolazom stručnog profesionalca: 100.3% njegove kvalitete. Sve brojke su na benchmarku.

Mijenja se i posao oko sinkronizacije. Put do visoke kvalitete danas je pomoćni: tim VFX umjetnika tjednima radi kadar po kadar, a svaki je jezik novi projekt. Današnji alati koji rade u jednom prolazu brzi su, ali se odriču svega ostalog: prijevod se ne može urediti, glazba i ambijent prostorije nestaju, a usne zakažu na posve običnim kadrovima, uz ruku preko lica, mikrofon, zamućenje, bokeh, bočni kadar ili više ljudi u kadru. Bez prostornog zaključivanja, bez razumijevanja svijeta. Familiar radi u jednom prolazu i donosi kvalitetu: jedan prijenos nosi video u svaki jezik koji odaberete, odjednom, a odluke se slažu jer ih donosi jedan model, pa ništa ne treba ručno spajati natrag.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. O čemu odlučuje MLDM, a što birate vi?

Multimodalni model odlučivanja o lokalizaciji sam je model. MLDM odlučuje što lokalizirati i kako, u tekstu, zvuku i slici. Cijela definicija je u tekstu Što je multimodalni model odlučivanja o lokalizaciji (MLDM)?

1. DANAS

   Odluke o prijevodu, koje pregledavaju vaši kreativni direktori.

   Svaka se odluka bilježi uz zadatak. Bilo koju od njih možete promijeniti.
2. U IZRADI

   Odluke o zvuku i slici, u istom pregledu.

3. U IZRADI

   Tekst u kadru i sinkronizacija uživo.

   Zaslon mobitela ili ulični natpis napisan izrazima koje ste već odabrali; brend ili ime ostaju kako su snimljeni, odlučeno u hodu: vrećica čipsa Tostitos ostaje Tostitos.

Zapis tih izbora opisan je u tekstu Zapis odluka: kako kreativni direktori usmjeravaju MLDM.

05. Što studio dobiva od temeljnog modela?

MLDM za zamorni dio posla. Kreativne odluke ostaju ljudima koji su djelo stvorili; model ostatak prenosi u svaki jezik odjednom.

Svaka se sinkronizacija obrađuje na tom klasteru, nikad kod vanjskog pružatelja usluga obrade, pa vaši mediji nikamo ne procure. Pojedinosti su u dokumentaciji o privatnoj obradi i dokumentaciji o izlaznim datotekama. Iza svega stoje doktori znanosti koji su započeli polje združenih audiovizualnih modela ljudi: 22 rada, više od 10,000 citata, uz savjetnike prof. Xu Zhenga i prof. Youngjunga Uha, uz potporu Samsunga, RedBirda i Gold Housea. Radovi su u našim istraživanjima.

06. Je li temeljni model za prevođenje generativni AI?

Ne u tradicionalnom smislu. IBM generativni AI definira ovako:

To je snažan alat za stvaranje novih stvari. MLDM nema upita i ništa novo ne izmišlja: ono što već postoji prenosi u drugi jezik. Ne „generativni AI“, nego prijevod u službi kreativaca. Od čovjeka do čovjeka, za sve širu publiku.

Ostali tekstovi u ovoj seriji: Audiovizualno prevođenje odjednom, a ne kaskadno, Što temeljni model za multimodalno prevođenje znači za studije i platforme i Pionirski rad u multimodalnom prevođenju.

PITANJA