Multimodalinio vertimo pradininkai: nuo bendrų audiovizualinių tyrimų iki pirmojo pamatinio modelio

01. Kas pradėjo bendrų audiovizualinių žmogaus modelių sritį?

Dubliažas įtikina tik tada, kai balsas ir veidas lieka vienas žmogus. „Familiar“ tyrėjai – mokslų daktarai, pradėję bendrų audiovizualinių žmogaus modelių sritį: jų straipsnis JAM-Flow, pristatytas ECCV 2026, yra pirmasis bendras audiovizualinis žmogaus modelis, kuriame kalbančio žmogaus balsas ir veidas sprendžiami kaip viena problema.

Darbai apima visas dalis, kurių reikia multimodaliniam vertimui: bendrus audiovizualinius žmogaus modelius, greitus vaizdo modelius, redagavimą ir multimodalinį suvokimą. Kiekvienas straipsnis ir konferencija išvardyti mūsų tyrimų apžvalgoje. Priežastis asmeninė: generalinis direktorius An Zhu Liu vaikystėje negalėjo susikalbėti angliškai su klasės draugais ir šios kalbos išmoko iš televizijos; ši istorija papasakota mūsų misijos puslapyje.

02. Kodėl dubliavimas rėmėsi atskirais įrankiais?

Todėl, kad kiekviena dalis pirmiausia buvo išspręsta atskirai. Mašininis dubliavimas atsirado kaip grandinė, ir būtent ši grandinė apskritai jį įgalino. Ji taip pat nubrėžė jo ribą, o vėliau sukurti įrankiai vis dar renkasi tarp kokybės ir laiko. Pagalbiniai įrankiai kokybę pasiekia su VFX specialistų komanda ir keliomis savaitėmis kiekvienam projektui, o kiekviena kalba yra naujas projektas. Vieno ypo įrankiai greiti, bet paaukoja visa kita: jų lūpos išsiderina, kai veidą dengia ranka ar mikrofonas, kai vaizdas neryškus, su bokeh efektu, filmuotas iš šono ar kai kadre keli žmonės: jokio erdvinio mąstymo, jokio pasaulio supratimo. „Familiar“ – tai vienas ypas ir kokybė.

++

„Familiar“ – tai pirmasis pamatinis multimodalinio vertimo modelis: vienas modelis, kuris žodžius, balsą, lūpas ir sceną perkelia į naują kalbą vienu metu.

Palyginimas žingsnis po žingsnio – straipsnyje Garso ir vaizdo vertimas iš karto, o ne grandine; apibrėžimas – straipsnyje Pirmasis pamatinis multimodalinio vertimo modelis.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Ką čia reiškia būti pradininku?

Trys dalykai, pirmą kartą kartu. Pirma, garsas ir vaizdas į naują kalbą perkeliami vienu metu, vieno modelio, todėl sprendimai dera tarpusavyje: balsas yra paties aktoriaus, lūpos seka naujus žodžius, o juokas, minia ir muzika lieka ten, kur buvo.

Antra, tvarka. Pirmiausia vertimas, tada dubliažas vienu ypu: balsas, lūpos ir scena kartu. Žodžiai užfiksuojami ir peržiūrimi jūsų kūrybos direktorių dar prieš įgarsinant.

Trečia, įrašas. Kiekvienas MLDM priimtas sprendimas įrašomas kartu su projektu, ir bet kurį jų galite pakeisti. Išsamiai – straipsnyje Sprendimų įrašas: kaip kūrybos direktoriai valdo MLDM; kas yra MLDM – apibrėžimo straipsnyje.

04. Ką sprendžia modelis ir ką pasirenkate jūs?

Tyrimo rezultatas tampa produktu tada, kai juo besinaudojantys žmonės išlieka sprendimų šeimininkai. MLDM – monotoniškam darbui. Kūrybiniai sprendimai lieka jums.

05. Kas dar kuriama?

Būti pradininku reiškia pirmąją versiją, o ne paskutinę. Vertimo pasirinkimai atviri jau šiandien; likusi įrašo dalis atsiveria palaipsniui.

1. ŠIANDIEN

   Jūsų kūrybos direktoriai peržiūri vertimo sprendimus.

   Variantai su kiekvieno pagrindimu; neverčiamų žodžių sąrašas ir vieno sakinio kontekstas keliauja kartu su užduotimi.
2. JAU KURIAMA

   Garso ir vaizdo sprendimai toje pačioje peržiūroje.

3. JAU KURIAMA

   Tekstas kadre.

   Telefono ekranas, knygos viršelis, gatvės lentelė, užrašyti jūsų jau pasirinktais terminais; prekės ženklas ar vardas lieka toks, koks nufilmuotas, tai sprendžiama iš karto: Tostitos pakelis lieka Tostitos.
4. JAU KURIAMA

   Tiesioginis dubliavimas.

06. Ką tai keičia žmonėms ekrane?

Žmonių dubliažas didžiajai pasaulio daliai neprieinamas. Net didžiausios produkcijos dubliuojamos vos keliomis kalbomis dėl kainos, žmonių ir laiko, kurio tai reikalauja; mažesnės produkcijos, laidos ir vertikalios dramos dažniausiai nedubliuojamos visai. Pamatinis multimodalinio vertimo modelis kiekvienai iš jų suteikia tą patį atlikimą kita kalba: aktoriaus balsą, lūpas ir veido išraiškas 30 kalbų, pristatomus iki 4K su tikru 5.1 erdviniu arba stereo miksu 24 bitų PCM formatu (rezultatai).

Vertimas pasiekia 100.3% ekspertų žmonių vertimo kokybės, tai lygiavertis rezultatas; tyrimai paskelbti /benchmark. Ne „generatyvinis DI“, o vertimas, įgalinantis kūrėjus. Nuo žmogaus žmogui, vis platesnei auditorijai. Ką tai reiškia katalogui – straipsnyje studijoms ir platformoms.

KLAUSIMAI