Hvad er en multimodal beslutningsmodel til lokalisering (MLDM)?

FAMILIAR FORSKNING2026-10-27OPDATERET 2026-11-01ALLE ARTIKLER

RESUMÉ

Den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags. MLDM er én model, der beslutter hvad der skal lokaliseres og hvordan på tværs af tekst, lyd og billede, og som viser dig de valg, der betyder noget. Oversættelsen først, derefter dubbingen i én omgang: stemmen, læberne og scenen sammen. Beslutningerne passer sammen, fordi én model træffer dem. Personen forbliver den samme.

DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSEAUDIOVISUEL OVERSÆTTELSE PÅ ÉN GANG, IKKE I KÆDE

Hvad beslutter MLDM?

TEKST

Hvilken gengivelse der bærer en replik over i det nye sprog. MLDM afvejer flere gengivelser og vælger den bedste: i en joke, en historie eller en replik i en samtale ændrer ét ord hensigten og følelsen. De samme beslutninger dækker termerne, det, der ikke skal oversættes, slangen bevaret ordret, navnet og brandet bevaret, en reference byttet ud med en, publikum kender, det, kulturen undgår, og færre bandeord i en version til et yngre publikum.

LYD

Hvad der overhovedet skal oversættes. MLDM hører alt på sporet: latteren, publikum, et råb, en taler i baggrunden, ingen kan opfatte. Den finder hovedstemmen, bærer den over i det nye sprog med talerens egen stemme og lader resten være, som det var.

BILLEDE

Hvem der faktisk siger det. Lyd og billede besluttes sammen, så MLDM ved, hvem der er fortæller, hvem der taler uden for billedet, og hvis læber der skal bevæge sig. Læberne følger de nye ord i hver replik; ansigtsudtrykkene og gestikken følger, når betoningen eller kulturen kræver det.

DE VALG, DU SER

TEKST

I DAGHvor en replik kan forstås på flere måder, får jeres kreative direktører gengivelserne med begrundelsen for hver af dem og vælger én. En podcast, et afsnit eller en film kan rumme mange af den slags passager.

UNDER UDVIKLING

LYD

I DAG

UNDER UDVIKLINGAt vælge, hvad der forbliver på originalsproget. Et heppekor, et råb eller en vending kan blive stående, som det blev sagt, når I ønsker det.

BILLEDE

I DAG

UNDER UDVIKLINGAt vælge et andet ansigt, når modellen har valgt den forkerte taler, og at vælge, hvilken tekst i billedet der skal oversættes. Den tekst, en telefonskærm, et bogomslag, et gadeskilt, en butiksfacade, skrives med de termer, I allerede har valgt; den beslutter i farten, hvad der bliver stående, som det blev filmet, et brand, et navn, slang: en pose Tostitos forbliver Tostitos.

Hvorfor én model?

EN KÆDE AF VÆRKTØJER

Tale-til-tekst, så oversættelse, så en stemme, så lipsync, hvert led finjusteret for sig.
Den kæde gjorde maskinel dubbing mulig.
Hvert led gætter stadig uden de andre, så fejlene hober sig op fra led til led.

ÉN GRUNDMODEL, DEN FØRSTE AF SIN SLAGS

MLDM træffer beslutningerne samlet.
Oversættelsen kender den mund, den skal passe til.
Stemmen kender den scene, den hører hjemme i.
Personen forbliver den samme.

Oversættelsen først, derefter dubbingen i én omgang: stemmen, læberne og scenen kommer ud sammen, ud fra de samme beslutninger.

Audiovisuel oversættelse på én gang, ikke i kæde: den første af sin slags. Det er det, der gør MLDM til den første grundmodel til multimodal oversættelse: én model, der bærer ordene, stemmen, læberne og scenen over i et nyt sprog, alt på én gang. Vejen til høj kvalitet i dag er assisteret: et hold af VFX-artister og uger pr. projekt, og hvert sprog er et nyt projekt. De værktøjer, der i dag arbejder i én omgang, er hurtige og ofrer resten. Familiar er én omgang og kvaliteten.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Hvad er forskellen på lokalisering og oversættelse?

Oversættelse er ordene. Lokalisering er det, en kultur har brug for fra dem.

De rigtige termer, slangen, navnene bevaret, som de blev sagt, en reference byttet ud med en, publikum kender, det, kulturen undgår, det niveau af bandeord, der passer. MLDM beslutter det hele, og med tiden også billedet, når det skal ændres.

Er MLDM generativ AI?

Nej. IBM definerer det sådan:

Generativ AI, nogle gange kaldet gen AI, er kunstig intelligens (AI), der kan skabe originalt indhold som tekst, billeder, video, lyd eller softwarekode som svar på en brugers prompt eller forespørgsel.

IBM, What is generative AI?

Det er et stærkt værktøj til at skabe nye ting. MLDM har ingen prompt, og intet nyt bliver fundet på: den beslutter, hvordan det, der allerede findes, skal lokaliseres. Hele holdningen står i Hvorfor Familiar ikke er traditionel generativ AI og Oversættelse er ikke generering.

Hvis beslutninger er det?

Jeres. Hver beslutning, MLDM træffer, registreres med dubben, i beslutningsprotokollen.

I DAG
Jeres kreative direktører gennemgår beslutningerne om oversættelsen.
Gengivelserne med begrundelsen for hver af dem; de vælger én, før noget går ud.
I DAG
En Oversæt ikke-liste og en kontekst på én sætning følger med jobbet.
UNDER UDVIKLING
Beslutningerne om lyd og billede, i den samme gennemgang.
UNDER UDVIKLING
Beslutningshukommelse.
En tilsidesættelse, der huskes for en creator, gælder først ved den næste dub, så et valg, der er truffet én gang, følger med til næste afsnit.

Hele historien står i Beslutningsprotokollen; det planlagte API står i dokumentationen om beslutninger.

SPØRGSMÅL

Hvad står MLDM for?

MLDM står for Multimodal Localization Decision Model, på dansk en multimodal beslutningsmodel til lokalisering, et nyt paradigme og det første af sin slags: én model, der beslutter, hvad der skal lokaliseres og hvordan, på tværs af tekst, lyd og billede. Den vælger gengivelsen af en replik, hvad der skal oversættes i lyden, hvem på skærmen der taler, og hvordan læberne, ansigtsudtrykkene og gestikken følger med.

Er MLDM en videomodel?

Ikke i den sædvanlige forstand. MLDM arbejder på optagelser, der allerede findes, og beslutter, hvordan de skal lokaliseres: ordene, stemmen, læberne og ansigtsudtrykkene. Personen på skærmen forbliver præcis den samme, på hvert eneste sprog.

Laver MLDM nye optagelser?

Nej. Der er ingen prompt, og intet nyt bliver fundet på. MLDM beslutter, hvordan det, der allerede findes, skal lokaliseres: skuespilleren, timingen og scenen bliver, mens ordene, stemmesporet og læberne ændres, så de passer til det nye sprog.

Hvad beslutter MLDM i lyden?

Hvad der overhovedet skal oversættes. Den finder hovedstemmen og bærer den over i det nye sprog med talerens egen stemme. Latteren, publikum, et råb og en taler i baggrunden, som ingen kan opfatte, bliver, som de var.

Ændrer MLDM ansigtsudtryk?

Når betoningen eller kulturen kræver det. Læberne følger de nye ord i hver replik; ansigtsudtrykkene og gestikken følger med, når en replik lander anderledes på det nye sprog. Personen forbliver præcis den samme.

Oversætter MLDM tekst på skærmen?

Ikke endnu. Teksten i billedet, som en telefonskærm, et bogomslag, et gadeskilt eller en butiksfacade, er ved at blive integreret og skrives med de termer, I allerede har valgt; den beslutter i farten, hvad der bliver stående, som det blev filmet, et brand, et navn, slang: en pose Tostitos forbliver Tostitos. I dag lokaliseres ordene, stemmen, læberne, ansigtsudtrykkene og gestikken.

Kan jeg ændre en beslutning, modellen har truffet?

Ja. Hver beslutning registreres på jobbet, og du kan tilsidesætte den. I dag vælger jeres kreative direktører mellem oversættelsens gengivelser, hver med sin begrundelse, og et valg, der er truffet én gang, følger med til næste afsnit.

Viser modellen sine valg i lyd og video?

Valgene i oversættelsen vises i dag. Valgene i lyden, som hvad der forbliver på originalsproget, og valgene i billedet, som at vælge et andet ansigt eller hvilken tekst i billedet der skal oversættes, er under udvikling.

REFERENCER

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission

Se hele benchmarken →Tal med teamet