Ko multimodālās tulkošanas pamatmodelis nozīmē studijām un platformām

01. Ko pamatmodelis maina dublāžā?

Agrāk mašīnas dublāža bija atsevišķu rīku kaskāde: transkripcija, tad tulkojums, tad balss, tad lūpu sinhronizācija. Katrs posms mināja, nezinot par pārējiem, un kļūdas pārgāja no posma uz posmu. Tas, ar ko pircējs saskaras šodien, maina kvalitāti pret laiku. Asistējošie rīki kvalitāti sasniedz ar VFX mākslinieku komandu: nedēļas katram projektam, un katra valoda ir jauns projekts. Rīki, kas dublē vienā piegājienā, ir ātri un upurē visu pārējo: tulkojumu nevar rediģēt, balss zaudē līdzību, mūzika un telpas skaņa pazūd, un lūpas neizdodas, ja sejas priekšā ir roka vai mikrofons, ja kadrs ir izplūdis, ar bokeh, sānskatā vai tajā ir vairāki cilvēki. Nav telpiskās domāšanas, nav pasaules izpratnes, nav kontroles. Familiar ķēdi aizstāj ar vienu multimodālu lokalizācijas lēmumu modeli (MLDM): viens piegājiens un kvalitāte.

++

Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina kopā.

Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē: pirmā savā veidā. Definīcija: Pirmais multimodālās tulkošanas pamatmodelis; salīdzinājums ar kaskādi soli pa solim: Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Vai viena augšupielāde var aptvert visus mūsu tirgus?

Jā. Materiāls jebkurā no 99 avota valodām tiek augšupielādēts vienreiz, un dublējumi iznāk jebkurā no 30 izvades valodām, ko pasūtāt: visas valodas no vienas augšupielādes, katrā tas pats sniegums. Sezona, bibliotēka vai vertikālo sēriju plūsma iet to pašu ceļu, un reiz iestatītie termini attiecas arī uz nākamo sēriju.

Pilna cilvēku dublāža, tulkojums plus balss, maksā $70 līdz $150 par gatavu minūti. Par šādu cenu tā lielākajai daļai pasaules ir nepieejama. Pat lielākie iestudējumi dublē tikai dažās valodās izmaksu, cilvēku un vajadzīgā laika dēļ.

Šo plaisu Familiar aizver. Nevis „ģeneratīvais MI”, bet tulkošana, kas dod iespējas radošajiem. MLDM vienmuļajam darbam. No cilvēka cilvēkam, sasniedzot arvien plašāku auditoriju.

03. Kurš izlemj, kā replika izskan citā valodā?

MLDM izlemj, ko lokalizēt un kā, tekstā, audio un attēlā. Jūsu komanda patur rokās svarīgās izvēles. Vispirms nāk tulkojums, un, ja repliku var uztvert dažādi, jūsu radošie direktori redz variantus un pamatojumu katram, pirms kaut kas tiek dublēts.

Katrs lēmums tiek saglabāts kopā ar darbu, un jebkuru no tiem varat mainīt. Viss stāsts: Saglabātie lēmumi: kā radošie direktori vada MLDM. Vērtējot tikai vārdus, tulkojums ir līdzvērtīgs pieredzējušiem profesionāliem tulkotājiem: 100.3% no viņu kvalitātes, mērīts salīdzinājumā.

04. Kas atgriežas ar gatavu dublējumu?

Piegāde, ko jūsu pēcapstrādes komanda var ielikt izlaidumā, atbilstoši specifikācijai, ko prasa straumēšanas platforma. Ainas skaņa paliek, kā bija: mūzika, atmosfēra un smiekli saglabājas, un valodu maina tikai runa.

Subtitri tiek veidoti no pārskatītā tulkojuma un sagriezti pēc Netflix Timed Text Style Guide konvencijām, subtitru šablonu standarta, pēc kura strādā nozare. Visi faili un formāti uzskaitīti izvades dokumentācijā.

05. Kur tiek apstrādāts mūsu materiāls?

Neizlaists materiāls ir tas, ko studija sargā visvairāk. Katrs dublējums tiek apstrādāts Familiar pašu desmitiem miljonu dolāru vērtā NVIDIA B300 GPU klasterī Toronto, Kanādā, mūsu pašu skaitļošanas jaudās.

Dublējuma ceļš un atbildes jūsu drošības pārbaudei: privātās secināšanas dokumentācija.

06. Kas ir pieejams šodien un kas ir izstrādē?

1. ŠODIEN

   Visas valodas no vienas augšupielādes, ar aktiera paša balsi un lūpām.

   30 izvades valodas, 99 avota valodas ievadē; līdz 4K, īsts 5.1 vai stereo mikss, subtitri.
2. ŠODIEN

   Jūsu radošie direktori pārskata tulkojuma lēmumus.

   Varianti ar pamatojumu katram, saglabāti kopā ar darbu.
3. IZSTRĀDĒ

   Audio un attēla lēmumi tajā pašā pārskatīšanā.

   Kas paliek oriģinālvalodā, cita seja, kuru tekstu kadrā tulkot.
4. IZSTRĀDĒ

   Tiešraides dublāža.

Piekļuve ir ar Studio līgumu, pielāgotu jūsu katalogam: runājiet ar komandu par saviem nosaukumiem, valodām un piegādes specifikāciju. Komandā ir PhD, kas aizsāka kopīgu audiovizuālu cilvēka modeļu jomu: 22 publikācijas, vairāk nekā 10 000 citējumu, padomnieki Prof. Xu Zheng un Prof. Youngjung Uh, atbalsta Samsung, RedBird un Gold House. Pētījumi: mūsu publikācijas un Multimodālās tulkošanas aizsācēji; dibinātāja stāsts: mūsu misijas lapā.

JAUTĀJUMI