Pionerer innen multimodal oversettelse: fra felles audiovisuell forskning til den første grunnmodellen

01. Hvem grunnla feltet for felles audiovisuelle menneskemodeller?

En dub holder bare hvis stemmen og ansiktet forblir én person. Familiars forskere har doktorgrad og grunnla feltet for felles audiovisuelle menneskemodeller: artikkelen deres JAM-Flow, på ECCV 2026, er den første felles audiovisuelle menneskemodellen, der stemmen og ansiktet til en person som snakker, behandles som ett problem.

Arbeidet dekker delene multimodal oversettelse trenger: felles audiovisuelle menneskemodeller, raske videomodeller, redigering og multimodal persepsjon. Hver artikkel og konferanse står i forskningsoversikten vår. Grunnen er personlig: An Zhu Liu, administrerende direktør, klarte ikke å snakke engelsk med klassekameratene sine som barn og lærte språket fra TV, en historie fortalt på siden om oppdraget vårt.

02. Hvorfor gikk dubbing gjennom separate verktøy?

Fordi hver del ble løst for seg først. Maskinell dubbing kom som en kjede, og det var den kjeden som gjorde den mulig i det hele tatt. Den satte også grensen, og verktøyene som er bygd siden, bytter fortsatt kvalitet mot tid. De assisterende verktøyene når kvaliteten med et team av VFX-artister og uker per prosjekt, et nytt prosjekt per språk. Verktøyene som dubber i én omgang, er raske og ofrer resten: leppene svikter ved en hånd foran ansiktet, en mikrofon, uskarphet, bokeh, en sidevinkel eller flere personer i bildet, uten romlig resonnering og uten forståelse av verden. Familiar er én omgang og kvaliteten.

++

Familiar er den første grunnmodellen for multimodal oversettelse: én modell som bærer ordene, stemmen, leppene og scenen over i et nytt språk, alt på én gang.

Kontrasten steg for steg står i Audiovisuell oversettelse i én omgang, ikke i kaskade; definisjonen står i Den første grunnmodellen for multimodal oversettelse.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Hva betyr pionerarbeid her?

Tre ting, samlet for første gang. Den første er at lyden og bildet bæres over i det nye språket på én gang, av én modell, så beslutningene henger sammen: stemmen er skuespillerens egen, leppene følger de nye ordene, og latteren, publikum og musikken blir værende der de var.

Den andre er rekkefølgen. Først oversettelsen, så dubben i én omgang: stemmen, leppene og scenen samlet. Ordene er på plass, og gjennomgått av de kreative lederne dine, før noe får stemme.

Den tredje er protokollen. Hver beslutning MLDM tar, lagres sammen med jobben, og du kan overstyre hvilken som helst av dem. Hele fremstillingen står i Beslutningsprotokollen: slik styrer kreative ledere MLDM; hva MLDM er, i definisjonsartikkelen.

04. Hva avgjør modellen, og hva velger du?

Et forskningsresultat blir et produkt når menneskene som bruker det, beholder styringen. MLDM for det møysommelige arbeidet. De kreative valgene forblir dine.

05. Hva er fortsatt under utvikling?

Pionerarbeid betyr den første versjonen, ikke den siste. Oversettelsesvalgene er åpne i dag; resten av protokollen åpnes trinn for trinn.

1. I DAG

   De kreative lederne dine går gjennom oversettelsesbeslutningene.

   Gjengivelsene med begrunnelsen bak hver av dem; en liste over det som ikke skal oversettes, og en kontekst på én setning følger med jobben.
2. UNDER UTVIKLING

   Lyd- og bildebeslutningene, i den samme gjennomgangen.

3. UNDER UTVIKLING

   Teksten i bildet.

   En mobilskjerm, et bokomslag, et gateskilt, skrevet med begrepene du allerede har valgt; et merkenavn eller et navn får stå slik det ble filmet, avgjort underveis: en pose Tostitos forblir Tostitos.
4. UNDER UTVIKLING

   Direktedubbing.

06. Hva endrer det for menneskene på skjermen?

Dubbing utført av mennesker er utenfor rekkevidde for det meste av verden. Selv de største produksjonene dubbes bare til noen få språk, på grunn av kostnadene, menneskene og tiden det tar; mindre produksjoner, serier og vertikale dramaer dubbes stort sett ikke i det hele tatt. En grunnmodell for multimodal oversettelse gir hver eneste av dem den samme fremføringen på et annet språk: skuespillerens stemme, lepper og ansiktsuttrykk på 30 språk, levert i opptil 4K med ekte 5.1 surround- eller stereomiks i 24-bit PCM (leveransene).

Oversettelsen måles til 100.3% av kvaliteten til menneskelige ekspertoversettere, altså på nivå; studiene finnes på /benchmark. Ikke «generativ KI», men oversettelse i de kreatives tjeneste. Fra menneske til menneske, med større rekkevidde. Hva det betyr for en katalog, står i artikkelen for studioer og plattformer.

SPØRSMÅL