Pirmais multimodālās tulkošanas pamatmodelis

01. Kas ir multimodālās tulkošanas pamatmodelis?

Video pasaka vairāk nekā tā vārdi. Nozīmi nes arī runātāja balss, tas, kā kustas viņa mute, smiekli telpā un mūzika zem ainas. Labi iztulkot video nozīmē pārnest to visu un saglabāt saskaņu: replikai jāatbilst mutei, balsij jāiederas ainā, un cilvēkam uz ekrāna jāpaliek tieši tādam, kāds viņš ir.

Multimodālās tulkošanas pamatmodelis ir viens modelis, kas paveic visu šo darbu. Tas uztver materiālu kā vienu veselumu un izlemj, kā katrai daļai jāizskan jaunajā valodā. Familiar uzbūvēja pirmo šādu modeli un sauc to par MLDM.

02. Kāpēc dublāža līdz šim gāja caur atsevišķiem rīkiem?

Cilvēku dublāža lielākajai daļai pasaules vienmēr bijusi nepieejama. Pat lielākie iestudējumi dublē tikai dažās valodās izmaksu, cilvēku un laika dēļ; mazāki iestudējumi, šovi un vertikālās drāmas nedublē vispār. Pilna cilvēku dublāža, tulkojums plus balss, maksā $70 līdz $150 par gatavu minūti.

03. Kas mainās, kad viens modelis visu pārnes reizē?

++

Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē: pirmā savā veidā.

Tiek pārnests tā paša aktiera sniegums: viņa paša balss, lūpas, kas kustas jaunajiem vārdiem, sejas izteiksmes un ainas skaņa apkārt. Smiekli, pūlis un mūzika paliek, kā bija. Uz tiem pašiem klipiem YouTube fona skaņas kļūda bija par 232.6% lielāka nekā Familiar. Vērtējot tikai vārdus, tulkojums ir līdzvērtīgs pieredzējuša profesionāļa pirmajam melnrakstam: 100.3% no viņa kvalitātes. Pilni skaitļi: salīdzinājumi.

Tas maina arī darbu ap dublējumu. Augstas kvalitātes ceļš šodien ir asistējošs: VFX mākslinieku komanda nedēļām strādā kadru pēc kadra, un katra valoda ir jauns projekts. Rīki, kas šodien dublē vienā piegājienā, ir ātri un upurē visu pārējo: tulkojumu nevar rediģēt, mūzika un telpas skaņa pazūd, un lūpas neizdodas parastos kadros, ja sejas priekšā ir roka vai mikrofons, ja kadrs ir izplūdis, ar bokeh, sānskatā vai tajā ir vairāki cilvēki. Nav telpiskās domāšanas, nav pasaules izpratnes. Familiar ir viens piegājiens un kvalitāte: viena augšupielāde pārnes video visās jūsu izvēlētajās valodās reizē, un lēmumi saskan, jo tos pieņem viens modelis, tāpēc nekas nav jāsašuj kopā ar rokām.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Ko izlemj MLDM un ko izvēlaties jūs?

Multimodāls lokalizācijas lēmumu modelis ir pats modelis. MLDM izlemj, ko lokalizēt un kā, tekstā, audio un attēlā. Pilna definīcija: Kas ir multimodāls lokalizācijas lēmumu modelis (MLDM)?

1. ŠODIEN

   Tulkojuma lēmumi, ko pārskata jūsu radošie direktori.

   Katrs lēmums tiek saglabāts kopā ar darbu. Jebkuru no tiem varat mainīt.
2. IZSTRĀDĒ

   Audio un attēla lēmumi tajā pašā pārskatīšanā.

3. IZSTRĀDĒ

   Teksts kadrā un tiešraides dublāža.

   Telefona ekrāns vai ielas norāde jūsu jau izvēlētajos terminos; zīmols vai īpašvārds paliek, kā nofilmēts, to modelis izlemj uzreiz: Tostitos paciņa paliek Tostitos.

Šīs izvēles glabājas: Saglabātie lēmumi: kā radošie direktori vada MLDM.

05. Ko studija iegūst no pamatmodeļa?

MLDM vienmuļajam darbam. Radošie lēmumi paliek cilvēkiem, kas darbu radīja; modelis pārējo pārnes visās valodās reizē.

Katrs dublējums tiek apstrādāts šajā klasterī, nekad pie trešās puses secināšanas pakalpojumu sniedzēja, tāpēc jūsu materiāls nekad nenoplūst. Sīkāk: privātās secināšanas dokumentācija un izvades dokumentācija. Aiz tā stāv PhD, kas aizsāka kopīgu audiovizuālu cilvēka modeļu jomu: 22 publikācijas, vairāk nekā 10 000 citējumu, padomnieki Prof. Xu Zheng un Prof. Youngjung Uh, atbalsta Samsung, RedBird un Gold House. Publikācijas: mūsu pētījumi.

06. Vai tulkošanas pamatmodelis ir ģeneratīvais MI?

Ne tradicionālajā nozīmē. IBM ģeneratīvo MI definē šādi:

Tas ir spēcīgs rīks jaunu lietu radīšanai. MLDM nav uzvednes, un nekas jauns netiek izdomāts: tas pārnes citā valodā to, kas jau ir. Nevis „ģeneratīvais MI”, bet tulkošana, kas dod iespējas radošajiem. No cilvēka cilvēkam, sasniedzot arvien plašāku auditoriju.

Citas šīs sērijas publikācijas: Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē, Ko multimodālās tulkošanas pamatmodelis nozīmē studijām un platformām un Multimodālās tulkošanas aizsācēji.

JAUTĀJUMI