Hva er en multimodal beslutningsmodell for lokalisering (MLDM)?

FAMILIAR FORSKNING2026-10-27OPPDATERT 2026-11-01ALLE ARTIKLER

SAMMENDRAG

Den første grunnmodellen for multimodal oversettelse, et nytt paradigme, det første i sitt slag. MLDM er én modell som avgjør hva som skal lokaliseres, og hvordan, på tvers av tekst, lyd og bilde, og som viser deg valgene som betyr noe. Først oversettelsen, så dubben i én omgang: stemmen, leppene og scenen samlet. Beslutningene henger sammen fordi én modell tar dem. Personen forblir den samme.

DEN FØRSTE GRUNNMODELLEN FOR MULTIMODAL OVERSETTELSEAUDIOVISUELL OVERSETTELSE I ÉN OMGANG, IKKE I KASKADE

Hva avgjør MLDM?

TEKST

Hvilken gjengivelse som bærer en replikk over i det nye språket. MLDM veier flere gjengivelser mot hverandre og velger den beste: i en vits, en historie eller en replikkveksling kan ett ord endre hensikten og følelsen. De samme beslutningene dekker begrepene, det som ikke skal oversettes, slangen som beholdes slik den ble sagt, navnet og merkenavnet som beholdes, en referanse byttet ut med en publikum kjenner, det kulturen unngår, og banningen som tones ned for en yngre versjon.

LYD

Hva som i det hele tatt skal oversettes. MLDM hører alt i lydsporet: latteren, publikum, et rop, en taler i bakgrunnen ingen klarer å oppfatte. Den finner hovedstemmen, bærer den over i det nye språket med talerens egen stemme og lar resten være som det var.

BILDE

Hvem som faktisk sier det. Lyd og bilde avgjøres samlet, så MLDM vet hvem som er forteller, hvem som snakker utenfor bildet, og hvem sine lepper som skal bevege seg. Leppene følger de nye ordene i hver replikk; ansiktsuttrykkene og gestene følger når ettertrykket eller kulturen krever det.

VALGENE DU SER

TEKST

I DAGDer en replikk kan oppfattes på flere måter, får de kreative lederne dine gjengivelsene med begrunnelsen bak hver av dem og velger én. En podkast, en episode eller en film kan inneholde mange slike segmenter.

UNDER UTVIKLING

LYD

I DAG

UNDER UTVIKLINGÅ velge hva som skal bli stående på originalspråket. Et heiarop, et rop eller en frase kan bli stående slik det ble sagt, når du vil det.

BILDE

I DAG

UNDER UTVIKLINGÅ velge et annet ansikt når modellen valgte feil taler, og å velge hvilken tekst i bildet som skal oversettes. Den teksten, en mobilskjerm, et bokomslag, et gateskilt, en butikkfasade, skrives med begrepene du allerede har valgt; modellen avgjør underveis hva som får stå slik det ble filmet, et merkenavn, et navn, slang: en pose Tostitos forblir Tostitos.

Hvorfor én modell?

EN KJEDE AV VERKTØY

Tale til tekst, så oversettelse, så en stemme, så leppesynk, hvert ledd finjustert for seg.
Den kjeden gjorde maskinell dubbing mulig.
Hvert ledd gjetter fortsatt uten de andre, så feilene hoper seg opp fra ledd til ledd.

ÉN GRUNNMODELL, DEN FØRSTE I SITT SLAG

MLDM tar beslutningene samlet.
Oversettelsen kjenner munnen den skal passe til.
Stemmen kjenner scenen den hører hjemme i.
Personen forblir den samme.

Først oversettelsen, så dubben i én omgang: stemmen, leppene og scenen kommer ut samlet, fra de samme beslutningene.

Audiovisuell oversettelse i én omgang, ikke i kaskade: den første i sitt slag. Det er det som gjør MLDM til den første grunnmodellen for multimodal oversettelse: én modell som bærer ordene, stemmen, leppene og scenen over i et nytt språk, alt på én gang. Veien til høy kvalitet i dag er assistert: et team av VFX-artister og uker per prosjekt, og hvert språk er et nytt prosjekt. Verktøyene som dubber i én omgang i dag, er raske og ofrer resten. Familiar er én omgang og kvaliteten.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Hva er forskjellen på lokalisering og oversettelse?

Oversettelse er ordene. Lokalisering er det en kultur trenger av dem.

De riktige begrepene, slangen, navnene som beholdes slik de ble sagt, en referanse byttet ut med en publikum kjenner, det den kulturen unngår, banningsnivået som passer. MLDM avgjør alt dette, og etter hvert også bildet, når det må endres.

Er MLDM generativ KI?

Nei. IBM definerer det slik:

Generativ KI, noen ganger kalt gen-KI, er kunstig intelligens (KI) som kan lage originalt innhold som tekst, bilder, video, lyd eller programkode ut fra en brukers prompt eller forespørsel.

IBM, What is generative AI?

Det er et sterkt verktøy for å lage nye ting. MLDM har ingen prompt, og ingenting nytt blir funnet på: den avgjør hvordan det som allerede finnes, skal lokaliseres. Hele standpunktet står i Hvorfor Familiar ikke er tradisjonell generativ KI og Oversettelse er ikke generering.

Hvem sine beslutninger er det?

Dine. Hver beslutning MLDM tar, lagres sammen med dubben, i beslutningsprotokollen.

I DAG
De kreative lederne dine går gjennom oversettelsesbeslutningene.
Gjengivelsene med begrunnelsen bak hver av dem; de velger én før noe går ut.
I DAG
En liste over det som ikke skal oversettes, og en kontekst på én setning følger med jobben.
UNDER UTVIKLING
Lyd- og bildebeslutningene, i den samme gjennomgangen.
UNDER UTVIKLING
Beslutningsminne.
En overstyring som huskes for en skaper, brukes først i neste dub, så et valg som er tatt én gang, følger med til neste episode.

Hele historien står i Beslutningsprotokollen: slik styrer kreative ledere MLDM; det planlagte API-et står i dokumentasjonen om beslutninger.

SPØRSMÅL

Hva står MLDM for?

MLDM står for Multimodal Localization Decision Model, en multimodal beslutningsmodell for lokalisering, et nytt paradigme og det første i sitt slag: én modell som avgjør hva som skal lokaliseres, og hvordan, på tvers av tekst, lyd og bilde. Den velger gjengivelsen av en replikk, hva som skal oversettes i lyden, hvem på skjermen som snakker, og hvordan leppene, ansiktsuttrykkene og gestene følger.

Er MLDM en videomodell?

Ikke i vanlig forstand. MLDM arbeider med opptak som allerede finnes, og avgjør hvordan de skal lokaliseres: ordene, stemmen, leppene og ansiktsuttrykkene. Personen på skjermen forblir den samme, på alle språk.

Lager MLDM nye opptak?

Nei. Det finnes ingen prompt, og ingenting nytt blir funnet på. MLDM avgjør hvordan det som allerede finnes, skal lokaliseres: skuespilleren, timingen og scenen blir værende, mens ordene, stemmesporet og leppene endres for å passe det nye språket.

Hva avgjør MLDM i lyden?

Hva som i det hele tatt skal oversettes. Den finner hovedstemmen og bærer den over i det nye språket med talerens egen stemme. Latteren, publikum, et rop og en taler i bakgrunnen ingen klarer å oppfatte, blir værende som de var.

Endrer MLDM ansiktsuttrykk?

Når ettertrykket eller kulturen krever det. Leppene følger de nye ordene i hver replikk; ansiktsuttrykkene og gestene følger når en replikk lander annerledes på det nye språket. Personen forblir den samme.

Oversetter MLDM tekst på skjermen?

Ikke ennå. Teksten i bildet, som en mobilskjerm, et bokomslag, et gateskilt eller en butikkfasade, integreres nå, skrevet med begrepene du allerede har valgt; modellen avgjør underveis hva som får stå slik det ble filmet, et merkenavn, et navn, slang: en pose Tostitos forblir Tostitos. I dag lokaliseres ordene, stemmen, leppene, ansiktsuttrykkene og gestene.

Kan jeg endre en beslutning modellen tok?

Ja. Hver beslutning lagres sammen med jobben, og du kan overstyre den. I dag velger de kreative lederne dine blant oversettelsesgjengivelsene, hver med sin begrunnelse, og et valg som er tatt én gang, følger med til neste episode.

Viser modellen valgene sine i lyd og bilde?

Oversettelsesvalgene vises allerede i dag. Lydvalgene, som hva som skal bli stående på originalspråket, og bildevalgene, som å velge et annet ansikt eller hvilken tekst i bildet som skal oversettes, er under utvikling.

KILDER

Multimodal oversettelse

Familiar Labs lager en ny generasjon dubbing med en multimodal beslutningsmodell for lokalisering (MLDM), den første grunnmodellen for multimodal oversettelse: én modell avgjør hva som skal lokaliseres på tvers av tekst, lyd og bilde, og viser deg valgene. Stemmen og leppene dine, båret over i nye språk. De er et team på 8 med PhD-er, støttet av Samsung, RedBird og Gold House. Vår misjon

Se hele benchmarken →Snakk med teamet