Pionerer inden for multimodal oversættelse: fra fælles audiovisuel forskning til den første grundmodel

01. Hvem grundlagde fælles audiovisuelle modeller af mennesker?

En dub holder kun, hvis stemmen og ansigtet forbliver én person. Familiars forskere er ph.d.er, der grundlagde feltet for fælles audiovisuelle modeller af mennesker: deres artikel JAM-Flow, på ECCV 2026, er den første fælles audiovisuelle model af mennesker, hvor stemmen og ansigtet hos en talende person behandles som ét problem.

Arbejdet dækker de dele, multimodal oversættelse har brug for: fælles audiovisuelle modeller af mennesker, hurtige videomodeller, redigering og multimodal perception. Alle artikler og konferencer står i vores forskningsoversigt. Grunden er personlig: An Zhu Liu, vores CEO, kunne som barn ikke tale engelsk med sine klassekammerater og lærte sproget ved at se fjernsyn, en historie, der fortælles på vores missionsside.

02. Hvorfor gik dubbing gennem separate værktøjer?

Fordi hver del blev løst for sig først. Maskinel dubbing kom som en kæde, og det var den kæde, der overhovedet gjorde det muligt. Den satte også grænsen, og de værktøjer, der er bygget siden, bytter stadig kvalitet for tid. De assisterende værktøjer når kvaliteten med et hold af VFX-artister og uger pr. projekt, et nyt projekt pr. sprog. De værktøjer, der arbejder i én omgang, er hurtige og ofrer resten: deres læber svigter ved en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel eller flere personer i billedet, uden rumlig ræsonnering og uden forståelse af verden. Familiar er én omgang og kvaliteten.

++

Familiar er den første grundmodel til multimodal oversættelse: én model, der bærer ordene, stemmen, læberne og scenen over i et nyt sprog, alt på én gang.

Kontrasten trin for trin står i Audiovisuel oversættelse på én gang, ikke i kæde; definitionen står i Den første grundmodel til multimodal oversættelse.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Hvad betyder det at være pioner her?

Tre ting, samlet for første gang. Den første er, at lyden og billedet bæres over i det nye sprog på én gang, af én model, så beslutningerne passer sammen: stemmen er skuespillerens egen, læberne følger de nye ord, og latteren, publikum og musikken bliver, hvor de var.

Den anden er rækkefølgen. Oversættelsen først, derefter dubbingen i én omgang: stemmen, læberne og scenen sammen. Ordene ligger fast og er gennemgået af jeres kreative direktører, før noget bliver indtalt.

Den tredje er protokollen. Hver beslutning, MLDM træffer, registreres på jobbet, og I kan tilsidesætte dem alle. Hele redegørelsen står i Beslutningsprotokollen: sådan instruerer kreative direktører MLDM; hvad MLDM er, i den definerende artikel.

04. Hvad beslutter modellen, og hvad vælger I?

Et forskningsresultat bliver et produkt, når de mennesker, der bruger det, bevarer styringen. MLDM til det møjsommelige arbejde. De kreative valg forbliver jeres.

05. Hvad er stadig under udvikling?

At være pioner betyder den første version, ikke den sidste. Valgene i oversættelsen er åbne i dag; resten af protokollen åbner trin for trin.

1. I DAG

   Jeres kreative direktører gennemgår beslutningerne om oversættelsen.

   Gengivelserne med begrundelsen for hver af dem; en Oversæt ikke-liste og en kontekst på én sætning følger med jobbet.
2. UNDER UDVIKLING

   Beslutningerne om lyd og billede, i den samme gennemgang.

3. UNDER UDVIKLING

   Teksten i billedet.

   En telefonskærm, et bogomslag, et gadeskilt, skrevet med de termer, I allerede har valgt; et brand eller et navn bliver stående, som det blev filmet, besluttet i farten: en pose Tostitos forbliver Tostitos.
4. UNDER UDVIKLING

   Livedubbing.

06. Hvad ændrer det for menneskene på skærmen?

Dubbing udført af mennesker er uden for rækkevidde for det meste af verden. Selv de største produktioner dubber kun til få sprog på grund af prisen, folkene og den tid, det tager; mindre produktioner, serier og vertikale dramaer dubbes for det meste slet ikke. En grundmodel til multimodal oversættelse giver hver eneste af dem den samme præstation på et andet sprog: skuespillerens stemme, læber og ansigtsudtryk på 30 sprog, leveret i op til 4K med et ægte 5.1-surround- eller stereomix i 24-bit PCM (outputtet).

Oversættelsen måler 100.3% af kvaliteten i ekspertoversættelse udført af mennesker, et match; studierne står på /benchmark. Ikke »generativ AI«, men oversættelse til gavn for de kreative. Fra menneske til menneske, og ud til langt flere. Hvad det betyder for et katalog, står i Hvad en grundmodel til multimodal oversættelse betyder for produktionsselskaber og platforme.

SPØRGSMÅL