Što temeljni model za multimodalno prevođenje znači za studije i platforme

01. Što temeljni model mijenja u sinkronizaciji?

Strojna sinkronizacija nekad je bila kaskada zasebnih alata: transkripcija, zatim prijevod, zatim glas, zatim sinkronizacija usana. Svaka je faza nagađala bez ostalih, a pogreške su se prenosile iz faze u fazu. Ono na što kupac danas nailazi mijenja kvalitetu za vrijeme. Pomoćni alati do kvalitete dolaze uz tim VFX umjetnika: tjedni po projektu, a svaki je jezik novi projekt. Alati koji rade u jednom prolazu brzi su, ali se odriču svega ostalog: prijevod se ne može urediti, glas odstupa od govornika, glazba i ambijent prostorije nestaju, a usne zakažu uz ruku preko lica, mikrofon, zamućenje, bokeh, bočni kadar ili više ljudi u kadru. Bez prostornog zaključivanja, bez razumijevanja svijeta, bez kontrole. Familiar lanac zamjenjuje jednim multimodalnim modelom odlučivanja o lokalizaciji (MLDM): jedan prolaz i kvaliteta.

++

Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena zajedno.

Audiovizualno prevođenje odjednom, a ne kaskadno: prvo takve vrste. Definicija je u tekstu Prvi temeljni model za multimodalno prevođenje; usporedba s kaskadom, korak po korak, u tekstu Audiovizualno prevođenje odjednom, a ne kaskadno.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Može li jedan prijenos pokriti svako tržište na kojem prodajemo?

Može. Snimka na bilo kojem od 99 izvornih jezika ulazi jednom, a sinkronizacije izlaze na bilo kojem od 30 izlaznih jezika koje naručite: svi jezici iz jednog prijenosa, svaki s istom izvedbom. Sezona, katalog ili niz vertikalnih epizoda idu istim putem, a izrazi koje jednom postavite vrijede i za sljedeću epizodu.

Potpuna ljudska sinkronizacija, prijevod plus glas, stoji $70 do $150 po gotovoj minuti. Uz tu cijenu većini je svijeta nedostižna. Čak i vrhunske produkcije sinkroniziraju na tek nekoliko jezika, zbog troška, ljudi i vremena koje treba.

Taj jaz Familiar zatvara. Ne „generativni AI“, nego prijevod u službi kreativaca. MLDM za zamorni dio posla. Od čovjeka do čovjeka, za sve širu publiku.

03. Tko odlučuje kako redak sjeda na drugom jeziku?

MLDM odlučuje što lokalizirati i kako, u tekstu, zvuku i slici. Vaš tim i dalje upravlja izborima koji su važni. Prijevod dolazi prvi, a kad se redak može shvatiti na više načina, vaši kreativni direktori vide opcije i obrazloženje za svaku prije nego što se išta sinkronizira.

Svaka se odluka bilježi uz zadatak i bilo koju od njih možete promijeniti. Cijela priča je u tekstu Zapis odluka: kako kreativni direktori usmjeravaju MLDM. Što se samih riječi tiče, prijevod je izjednačen sa stručnim ljudskim prevoditeljima: 100.3% njihove kvalitete, izmjereno u benchmarku.

04. Što se vraća uz gotovu sinkronizaciju?

Isporuka koju vaš postprodukcijski tim može izravno ubaciti u objavu, prema specifikaciji koju traži streaming servis. Zvuk scene ostaje kakav je bio: glazba, ambijent i smijeh su sačuvani, a jezik mijenja samo govor.

Titlovi nastaju iz pregledanog prijevoda, u skladu s konvencijama Netflixova vodiča Timed Text Style Guide, predloška za titlove po kojem radi cijela industrija. Sve datoteke i formati navedeni su u dokumentaciji o izlaznim datotekama.

05. Gdje se obrađuje naša snimka?

Neobjavljena snimka imovina je koju studio najviše čuva. Svaka se sinkronizacija obrađuje na Familiarovu vlastitom klasteru GPU-a NVIDIA B300 vrijednom desetke milijuna dolara, u Torontu u Kanadi, na računalnoj snazi u Familiarovu vlasništvu.

Put sinkronizacije i odgovori za vašu sigurnosnu provjeru nalaze se u dokumentaciji o privatnoj obradi.

06. Što je dostupno danas, a što je u izradi?

1. DANAS

   Svi jezici iz jednog prijenosa, s glumčevim vlastitim glasom i usnama.

   30 izlaznih jezika, 99 izvornih jezika na ulazu; do 4K, pravi 5.1 ili stereo miks, titlovi.
2. DANAS

   Vaši kreativni direktori pregledavaju odluke o prijevodu.

   Opcije s obrazloženjem za svaku, zabilježene uz zadatak.
3. U IZRADI

   Odluke o zvuku i slici, u istom pregledu.

   Što ostaje na izvornom jeziku, drugo lice, koji tekst u kadru prevesti.
4. U IZRADI

   Sinkronizacija uživo.

Pristup je putem Studio ugovora, prilagođenog vašem katalogu: razgovarajte s timom o svojim naslovima, jezicima i specifikaciji isporuke. Tim čine doktori znanosti koji su započeli polje združenih audiovizualnih modela ljudi: 22 rada, više od 10,000 citata, uz savjetnike prof. Xu Zhenga i prof. Youngjunga Uha, uz potporu Samsunga, RedBirda i Gold Housea. Istraživanje je u našim radovima i u tekstu Pionirski rad u multimodalnom prevođenju; priča osnivača je na stranici naše misije.

PITANJA