Vad är en multimodal beslutsmodell för lokalisering (MLDM)?

FAMILIAR FORSKNING2026-10-27UPPDATERAD 2026-11-01ALLA ARTIKLAR

SAMMANFATTNING

Den första grundmodellen för multimodal översättning, ett nytt paradigm, det första i sitt slag. MLDM är en enda modell som avgör vad som ska lokaliseras och hur, i text, ljud och bild, och visar dig de val som spelar roll. Först översättningen, sedan dubbningen i ett enda svep: rösten, läpparna och scenen tillsammans. Besluten hänger ihop eftersom en och samma modell fattar dem. Människan förändras aldrig.

DEN FÖRSTA GRUNDMODELLEN FÖR MULTIMODAL ÖVERSÄTTNINGAUDIOVISUELL ÖVERSÄTTNING PÅ EN GÅNG, INTE I KASKAD

Vad avgör MLDM?

TEXT

Vilken återgivning som bär en replik in i det nya språket. MLDM väger flera återgivningar mot varandra och väljer den bästa: i ett skämt, en berättelse eller en replik i ett samtal ändrar ett enda ord avsikten och känslan. Samma beslut omfattar termerna, vad som inte ska översättas, slangen som behålls som den sades, namnet och varumärket som behålls, en referens som byts mot en som publiken känner till, det som kulturen undviker och svordomarna som tonas ned i en version för yngre publik.

LJUD

Vad som över huvud taget ska översättas. MLDM hör allt i spåret: skratten, publiken, ett rop, en talare i bakgrunden som ingen kan urskilja. Den hittar huvudrösten, för den vidare till det nya språket med talarens egen röst och låter resten vara som det var.

BILD

Vem som faktiskt säger det. Ljud och bild avgörs tillsammans, så MLDM vet vem som är berättarröst, vem som talar utanför bild och vems läppar som ska röra sig. Läpparna följer de nya orden i varje replik; ansiktsuttrycken och gesterna följer med när betoningen eller kulturen kräver det.

VALEN DU SER

TEXT

I DAGDär en replik kan landa på mer än ett sätt får dina creative directors återgivningarna med resonemanget bakom var och en och väljer en. En podd, ett avsnitt eller en film kan rymma många sådana segment.

UNDER UTVECKLING

LJUD

I DAG

UNDER UTVECKLINGAtt välja vad som behålls på originalspråket. En ramsa, ett skrik eller en fras kan få stå kvar som den sades när du vill det.

BILD

I DAG

UNDER UTVECKLINGAtt välja ett annat ansikte när modellen valt fel talare, och att välja vilken text i bilden som ska översättas. Den texten, en mobilskärm, ett bokomslag, en gatuskylt, en butiksfasad, skrivs med de termer du redan har valt; modellen avgör i stunden vad som får stå kvar som det filmades, ett varumärke, ett namn, slang: en påse Tostitos förblir Tostitos.

Varför en enda modell?

EN KEDJA AV VERKTYG

Tal till text, sedan översättning, sedan en röst, sedan läppsynk, varje steg finjusterat för sig.
Den kedjan gjorde maskindubbning möjlig.
Varje steg gissar ändå utan de andra, så felen förstärks från ett steg till nästa.

EN GRUNDMODELL, DEN FÖRSTA I SITT SLAG

MLDM fattar besluten tillsammans.
Översättningen vet vilken mun den ska passa.
Rösten vet vilken scen den hör hemma i.
Människan förändras aldrig.

Först översättningen, sedan dubbningen i ett enda svep: rösten, läpparna och scenen kommer ut tillsammans, ur samma beslut.

Audiovisuell översättning på en gång, inte i kaskad: den första i sitt slag. Det är det som gör MLDM till den första grundmodellen för multimodal översättning: en enda modell som för orden, rösten, läpparna och scenen vidare till ett nytt språk, allt på en gång. Vägen till hög kvalitet i dag är assisterad: ett team av VFX-artister och veckor per projekt, och varje språk är ett nytt projekt. Dagens verktyg som dubbar i ett svep är snabba och offrar resten. Familiar är både ett svep och kvaliteten.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Vad är skillnaden mellan lokalisering och översättning?

Översättning är orden. Lokalisering är det en kultur behöver av dem.

Rätt termer, slangen, namnen som behålls som de sades, en referens som byts mot en som publiken känner till, det som kulturen undviker, den nivå på svordomarna som passar. MLDM avgör allt det, och med tiden även bilden, när den behöver ändras.

Är MLDM generativ AI?

Nej. IBM definierar det så här:

Generativ AI, ibland kallad gen AI, är artificiell intelligens (AI) som kan skapa originellt innehåll som text, bilder, video, ljud eller programkod som svar på en användares prompt eller förfrågan.

IBM, What is generative AI?

Det är ett starkt verktyg för att skapa nya saker. MLDM har ingen prompt, och inget nytt hittas på: den avgör hur det som redan finns ska lokaliseras. Hela vår hållning finns i Varför Familiar inte är traditionell generativ AI och Översättning är inte generering.

Vems beslut är det?

Dina. Varje beslut som MLDM fattar sparas med dubbningen, bland besluten bakom dubbningen.

I DAG
Dina creative directors granskar översättningsbesluten.
Återgivningarna med resonemanget bakom var och en; de väljer en innan något går ut.
I DAG
En Översätt inte-lista och en kontextrad på en mening följer med jobbet.
UNDER UTVECKLING
Besluten om ljud och bild, i samma granskning.
UNDER UTVECKLING
Beslutsminne.
Ett åsidosättande som sparats för en kreatör gäller först vid nästa dubbning, så ett val som gjorts en gång följer med till nästa avsnitt.

Hela historien finns i Besluten bakom dubbningen: så styr creative directors MLDM; det planerade API:et finns i dokumentationen om beslut.

FRÅGOR

Vad står MLDM för?

MLDM står för Multimodal Localization Decision Model, på svenska en multimodal beslutsmodell för lokalisering, ett nytt paradigm och det första i sitt slag: en enda modell som avgör vad som ska lokaliseras och hur, i text, ljud och bild. Den väljer återgivningen av en replik, vad som ska översättas i ljudet, vem i bild som talar och hur läpparna, ansiktsuttrycken och gesterna följer med.

Är MLDM en videomodell?

Inte i vanlig mening. MLDM arbetar med material som redan finns och avgör hur det ska lokaliseras: orden, rösten, läpparna och ansiktsuttrycken. Människan i bild förblir precis den hon är, på varje språk.

Skapar MLDM nytt bildmaterial?

Nej. Det finns ingen prompt, och inget nytt hittas på. MLDM avgör hur det som redan finns ska lokaliseras: skådespelaren, tajmingen och scenen består, medan orden, röstspåret och läpparna ändras för att passa det nya språket.

Vad avgör MLDM i ljudet?

Vad som över huvud taget ska översättas. Den hittar huvudrösten och för den vidare till det nya språket med talarens egen röst. Skratten, publiken, ett rop och en talare i bakgrunden som ingen kan urskilja får vara som de var.

Ändrar MLDM ansiktsuttryck?

När betoningen eller kulturen kräver det. Läpparna följer de nya orden i varje replik; ansiktsuttrycken och gesterna följer med när en replik landar annorlunda på det nya språket. Människan förblir precis den hon är.

Översätter MLDM text i bild?

Inte ännu. Texten i bilden, som en mobilskärm, ett bokomslag, en gatuskylt eller en butiksfasad, håller på att integreras och skrivs med de termer du redan har valt; modellen avgör i stunden vad som får stå kvar som det filmades, ett varumärke, ett namn, slang: en påse Tostitos förblir Tostitos. I dag lokaliseras orden, rösten, läpparna, ansiktsuttrycken och gesterna.

Kan jag ändra ett beslut som modellen har fattat?

Ja. Varje beslut sparas med jobbet, och du kan köra över det. I dag väljer dina creative directors bland översättningens återgivningar, var och en med sitt resonemang, och ett val som gjorts en gång följer med till nästa avsnitt.

Visar modellen sina val i ljud och bild?

Översättningsvalen visas i dag. Valen i ljudet, som vad som behålls på originalspråket, och valen i bilden, som att välja ett annat ansikte eller vilken text i bilden som ska översättas, är under utveckling.

KÄLLOR

Multimodal översättning

Familiar Labs gör en generation bättre dubbning med en multimodal beslutsmodell för lokalisering (MLDM), den första grundmodellen för multimodal översättning: en enda modell avgör vad som ska lokaliseras i text, ljud och bild, och visar dig valen. Din röst och dina läppar, vidare till nya språk. Ett team på 8 med doktorsexamina och Samsung, RedBird och Gold House i ryggen. Vår mission

Se hela benchmarken →Prata med teamet