Multimodālās tulkošanas aizsācēji: no kopīgiem audiovizuāliem pētījumiem līdz pirmajam pamatmodelim

01. Kas aizsāka kopīgus audiovizuālus cilvēka modeļus?

Dublējums iztur tikai tad, ja balss un seja paliek viens cilvēks. Familiar pētnieki ir PhD, kas aizsāka kopīgu audiovizuālu cilvēka modeļu jomu: viņu publikācija JAM-Flow, ECCV 2026, ir pirmais kopīgais audiovizuālais cilvēka modelis, kurā runājoša cilvēka balss un seja tiek risinātas kā viena problēma.

Darbs aptver daļas, kas vajadzīgas multimodālai tulkošanai: kopīgus audiovizuālus cilvēka modeļus, ātrus video modeļus, labošanu un multimodālu uztveri. Katra publikācija un konference: mūsu pētījumu pārskats. Iemesls ir personisks: An Zhu Liu, izpilddirektors, bērnībā nespēja runāt angliski ar klasesbiedriem un iemācījās valodu no televīzijas; šis stāsts ir mūsu misijas lapā.

02. Kāpēc dublāža gāja caur atsevišķiem rīkiem?

Tāpēc, ka katra daļa vispirms tika atrisināta atsevišķi. Mašīnas dublāža ieradās kā ķēde, un tieši šī ķēde to vispār padarīja iespējamu. Tā noteica arī tās robežu, un kopš tā laika uzbūvētie rīki joprojām maina kvalitāti pret laiku. Asistējošie rīki kvalitāti sasniedz ar VFX mākslinieku komandu un nedēļām katram projektam, un katra valoda ir jauns projekts. Rīki, kas dublē vienā piegājienā, ir ātri un upurē visu pārējo: to lūpas neizdodas, ja sejas priekšā ir roka vai mikrofons, ja kadrs ir izplūdis, ar bokeh, sānskatā vai tajā ir vairāki cilvēki, jo nav telpiskās domāšanas un nav pasaules izpratnes. Familiar ir viens piegājiens un kvalitāte.

++

Familiar ir pirmais multimodālās tulkošanas pamatmodelis: viens modelis, kas pārnes jaunajā valodā vārdus, balsi, lūpas un ainu, visu reizē.

Salīdzinājums soli pa solim: Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē; definīcija: Pirmais multimodālās tulkošanas pamatmodelis.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Ko šeit nozīmē būt aizsācējam?

Trīs lietas, pirmo reizi kopā. Pirmā: audio un attēls tiek pārnesti jaunajā valodā reizē, ar vienu modeli, tāpēc lēmumi saskan: balss ir aktiera paša, lūpas seko jaunajiem vārdiem, un smiekli, pūlis un mūzika paliek savās vietās.

Otrā ir secība. Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina kopā. Vārdi ir izlemti un jūsu radošo direktoru pārskatīti, pirms kaut kas tiek ierunāts.

Trešā ir lēmumu saglabāšana. Katrs lēmums, ko pieņem MLDM, tiek saglabāts kopā ar darbu, un jebkuru no tiem varat mainīt. Pilns apraksts: Saglabātie lēmumi: kā radošie direktori vada MLDM; kas ir MLDM: definīcijas publikācijā.

04. Ko izlemj modelis un ko izvēlaties jūs?

Pētījuma rezultāts kļūst par produktu, kad tā lietotāji patur vadību. MLDM vienmuļajam darbam. Radošie lēmumi paliek jūsu.

05. Kas vēl ir izstrādē?

Būt aizsācējam nozīmē pirmo versiju, nevis pēdējo. Tulkojuma izvēles ir atvērtas jau šodien; pārējie saglabātie lēmumi atveras pakāpeniski.

1. ŠODIEN

   Jūsu radošie direktori pārskata tulkojuma lēmumus.

   Atveidojumi ar pamatojumu katram; saraksts „Netulkot” un viena teikuma konteksts ceļo kopā ar darbu.
2. IZSTRĀDĒ

   Audio un attēla lēmumi tajā pašā pārskatīšanā.

3. IZSTRĀDĒ

   Teksts kadrā.

   Telefona ekrāns, grāmatas vāks, ielas norāde jūsu jau izvēlētajos terminos; zīmols vai īpašvārds paliek, kā nofilmēts, to modelis izlemj uzreiz: Tostitos paciņa paliek Tostitos.
4. IZSTRĀDĒ

   Tiešraides dublāža.

06. Ko tas maina cilvēkiem uz ekrāna?

Cilvēku dublāža lielākajai daļai pasaules ir nepieejama. Pat lielākie iestudējumi dublē tikai dažās valodās izmaksu, cilvēku un vajadzīgā laika dēļ; mazāki iestudējumi, šovi un vertikālās drāmas lielākoties nedublē vispār. Multimodālās tulkošanas pamatmodelis katram no viņiem dod to pašu sniegumu citā valodā: aktiera balsi, lūpas un sejas izteiksmes 30 valodās, piegādātas līdz 4K ar īstu 5.1 telpiskās skaņas vai stereo miksu 24 bitu PCM formātā (izvades faili).

Tulkojums sasniedz 100.3% no pieredzējuša profesionāla tulkotāja kvalitātes: līdzvērtīgi; pētījumi ir lapā /benchmark. Nevis „ģeneratīvais MI”, bet tulkošana, kas dod iespējas radošajiem. No cilvēka cilvēkam, sasniedzot arvien plašāku auditoriju. Ko tas nozīmē katalogam: publikācija studijām un platformām.

JAUTĀJUMI