Pirmasis pamatinis multimodalinio vertimo modelis

01. Kas yra pamatinis multimodalinio vertimo modelis?

Vaizdo įrašas pasako daugiau nei jo žodžiai. Prasmę neša ir kalbėtojo balsas, ir tai, kaip juda jo burna, ir juokas patalpoje, ir muzika po scena. Gerai išversti vaizdo įrašą reiškia perkelti visa tai ir išlaikyti darną: replika turi derėti prie burnos, balsas turi tikti scenai, o žmogus ekrane turi likti lygiai toks pat.

Pamatinis multimodalinio vertimo modelis – tai vienas modelis, atliekantis visą šį darbą. Jis vaizdo medžiagą priima kaip visumą ir sprendžia, kaip kiekviena jos dalis turi nuskambėti naujoje kalboje. Pirmąjį tokį modelį sukūrė „Familiar“ ir pavadino jį MLDM.

02. Kodėl dubliavimas iki šiol rėmėsi atskirais įrankiais?

Žmonių dubliažas didžiajai pasaulio daliai visada buvo nepasiekiamas. Net didžiausios produkcijos dubliuojamos vos keliomis kalbomis dėl kainos, žmonių ir laiko; mažesnės produkcijos, laidos ir vertikalios dramos nedubliuojamos visai. Visavertis žmonių dubliažas, vertimas plius balsas, kainuoja $70–150 už galutinę minutę.

03. Kas keičiasi, kai vienas modelis viską perkelia vienu metu?

++

Garso ir vaizdo vertimas iš karto, o ne grandine: pirmasis tokio pobūdžio.

Perteikiamas to paties aktoriaus atlikimas: jo paties balsas, lūpos, judančios pagal naujus žodžius, veido išraiškos ir scenos garsas aplink jį. Juokas, minia ir muzika lieka tokie, kokie buvo. Tuose pačiuose klipuose „YouTube“ turėjo 232.6% daugiau fono garso klaidų nei „Familiar“. Vien pagal žodžius vertimas prilygsta pirmajai profesionalaus vertėjo eksperto versijai: 100.3% jos kokybės. Visi skaičiai – lyginamajame teste.

Keičiasi ir darbas aplink dubliažą. Aukštos kokybės kelias šiandien yra pagalbinis: VFX specialistų komanda savaičių savaitėmis dirba kadras po kadro, o kiekviena kalba yra naujas projektas. Šiandieniai vieno ypo įrankiai greiti, bet paaukoja visa kita: vertimo redaguoti negalima, muzika ir patalpos garsas dingsta, o lūpos išsiderina įprastuose kadruose, kai veidą dengia ranka, mikrofonas, kai vaizdas neryškus, su bokeh efektu, filmuotas iš šono ar kai kadre keli žmonės. Jokio erdvinio mąstymo, jokio pasaulio supratimo. „Familiar“ – tai vienas ypas ir kokybė: vienas įkėlimas perkelia vaizdo įrašą į visas jūsų pasirinktas kalbas iš karto, o sprendimai dera tarpusavyje, nes juos priima vienas modelis, todėl nieko nereikia sudurstyti rankomis.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Ką sprendžia MLDM ir ką pasirenkate jūs?

Multimodalinis lokalizavimo sprendimų modelis ir yra pats modelis. MLDM sprendžia, ką lokalizuoti ir kaip, tekste, garse ir vaizde. Visas apibrėžimas – straipsnyje Kas yra multimodalinis lokalizavimo sprendimų modelis (MLDM)?

1. ŠIANDIEN

   Vertimo sprendimai, kuriuos peržiūri jūsų kūrybos direktoriai.

   Kiekvienas sprendimas įrašomas kartu su projektu. Bet kurį jų galite pakeisti.
2. JAU KURIAMA

   Garso ir vaizdo sprendimai toje pačioje peržiūroje.

3. JAU KURIAMA

   Tekstas kadre ir tiesioginis dubliavimas.

   Telefono ekranas ar gatvės lentelė, užrašyti jūsų jau pasirinktais terminais; prekės ženklas ar vardas lieka toks, koks nufilmuotas, tai sprendžiama iš karto: Tostitos pakelis lieka Tostitos.

Šių pasirinkimų įrašas aprašytas straipsnyje Sprendimų įrašas: kaip kūrybos direktoriai valdo MLDM.

05. Ką studijai duoda pamatinis modelis?

MLDM – monotoniškam darbui. Kūrybiniai sprendimai lieka žmonėms, kurie sukūrė kūrinį; modelis visa kita perkelia į visas kalbas iš karto.

Kiekvienas dubliažas apdorojamas tame klasteryje, niekada ne pas trečiųjų šalių DI skaičiavimo paslaugų teikėjus, todėl jūsų medžiaga niekada nenuteka. Išsamiau – privataus apdorojimo dokumentacijoje ir rezultatų dokumentacijoje. Už viso to stovi mokslų daktarai, pradėję bendrų audiovizualinių žmogaus modelių sritį: 22 straipsniai, daugiau nei 10 000 citavimų, patarėjai – prof. Xu Zheng ir prof. Youngjung Uh, o remia „Samsung“, „RedBird“ ir „Gold House“. Straipsniai – mūsų tyrimuose.

06. Ar pamatinis vertimo modelis yra generatyvinis DI?

Ne tradicine prasme. IBM generatyvinį DI apibrėžia taip:

Tai galingas įrankis naujiems dalykams kurti. MLDM užklausos neturi, ir nieko naujo neišgalvojama: jis perkelia tai, kas jau yra, į kitą kalbą. Ne „generatyvinis DI“, o vertimas, įgalinantis kūrėjus. Nuo žmogaus žmogui, vis platesnei auditorijai.

Kiti šios serijos straipsniai: Garso ir vaizdo vertimas iš karto, o ne grandine, Ką pamatinis multimodalinio vertimo modelis reiškia studijoms ir platformoms ir Multimodalinio vertimo pradininkai.

KLAUSIMAI