Vad som spelar roll i videoöversättning

01. De fyra problemen

Fråga vad som gör en dubbad video bra och du får en lång lista. Den kokar ned till fyra punkter:

Om de två första fallerar spelar inget efter dem någon roll: en felöversatt mening eller en röst som hörbart är fel sänker dubbningen på egen hand. De två sista avgör om resultatet känns som originalet eller som en dubbning.

02. Naturlig översättning: ett nytt manus, inte en överföring

Varje språk uttrycker saker på sitt eget sätt: ord, idiom, meningsbyggnad, tilltal, vad som över huvud taget sägs. Be en modell att ”översätta” så för den över meningar en till en från språk A till språk B. Människor gör likadant: i rollen som översättare krymper uppgiften till att omvandla meningar.

• Japanska undviker gärna alltför direkta formuleringar; en naturlig replik måste ofta byggas om indirekt, inte mildras ord för ord.
• Koreanska utelämnar ständigt subjektet; att föra över engelska pronomen till koreanska lika ofta som på engelska låter främmande även när varje ord är rätt.
• Ordföljd, stilnivå, artighetsformer och det en kultur lämnar osagt skiftar med varje språk; en översättning är inte bra bara för att den bokstavliga betydelsen överlevde.

”Väl” låter sig inte fångas i en checklista, så vi kokar ned målet till en mening: förmedla videons innehåll väl på målspråket. Det går att mäta:

03. Naturligt ljud: samma person, på ett nytt språk

Uttalet är nästan löst. De intressanta misslyckandena ligger bortom det:

• Identitet: samma person fortsätter att låta som samma person, på varje språk.
• Känsla: det talaren kände överlever språkbytet.
• Betoning, tempo, avsikt: var meningen lutar, hur fort den går, vad den försöker åstadkomma.

Målet kokar ned på samma sätt som översättningsmålet: ljudet stämmer med videon. Inte ”generera språk B med rösten från språk A”. Samma framförande, på ett nytt språk. Och scenen är en del av ljudet: skratten, musiken, rummet.

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

04. Text i bild är en del av videon

Dagens video lutar sig mot text i bild: textremsor, skämt, memes, ett enda ord tajmat till ett taktslag. Var och en är en visuell händelse på källspråket. Att anpassa den ställer två krav:

• Skada aldrig videon. Artefakter eller visuella störningar gör resultatet sämre än originalet.
• Översätt den aldrig ordagrant. Du måste förstå varför den här texten dyker upp i just det här ögonblicket, på just den här platsen, innan du kan anpassa den.

I dag översätter Familiars multimodala beslutsmodell för lokalisering (MLDM), den första grundmodellen för multimodal översättning, ett nytt paradigm och det första i sitt slag, titlar, beskrivningar och undertexter tillsammans med dubbningen. Text inne i bilden är under utveckling: en mobilskärm eller en gatuskylt, skriven med de termer du redan har valt, ett varumärke eller ett namn som i stunden får stå kvar som det filmades, så att en påse Tostitos förblir Tostitos, och du väljer vilken text som ska översättas. Regeln gäller: om ändringen märks är den inte tillräckligt bra.

05. Läppsynk: lyckas genom att inte märkas

Läppsynk har samma hårda krav: skada aldrig videon. Den högsta komplimang en dubbnings läppsynk kan få är frågan ”vad var det som ändrades?”

Effekten verkar också till dubbningens fördel. När munnen väl stämmer löser hjärnan tvetydigheter i riktning mot samstämmighet: uttalet uppfattas som tydligare, och klangfärgen låter mer som samma person.

De svåra delarna: röster utanför bild, talare som pratar i munnen på varandra, personer som ser eller låter lika, och att redigera munnen utan att förstöra ansiktet. Sätt två personer i bild så läppsynkar dagens verktyg båda munnarna samtidigt.

Läpparna är bara början. En människa framför en mening med hela ansiktet, ögonen, ögonbrynen, kinderna, huvudet, och med kroppen: gester, nickar, det halva taktslaget när man lyssnar.

06. Ett problem, inte fyra

Varje krav kokade hela tiden ned till samma mening. Naturlig översättning: skriv det den här videon säger, på målspråket. Naturligt ljud: behåll samma framförande med de nya orden. Text i bild: vet varför den finns där innan du rör den. Läppsynk: redigera människan utan att förstöra henne.

Det är vad MLDM avgör, uppmätt på samma klipp och publicerat på /benchmark. Varje beslut sparas med dubbningsjobbet och kan köras över; i dag väljer dina creative directors bland översättningens återgivningar.