Det som avgjør i videooversettelse

01. De fire problemene

Spør hva som gjør en dubbet video god, og du får en lang liste. Den kan kokes ned til fire:

Svikter de to første, betyr ingenting etter dem noe: en feiloversatt setning eller en stemme som hørbart er feil, velter dubben alene. De to siste avgjør om resultatet føles som originalen eller som en dub.

02. Naturlig oversettelse: et nytt manus, ikke en overføring

Hvert språk uttrykker ting på sin egen måte: ord, idiomer, setningsbygning, tiltaleformer, hva som i det hele tatt blir sagt. Be en modell om å «oversette», og den overfører setninger én til én fra språk A til språk B. Mennesker gjør det samme: får de rollen som oversetter, krymper oppgaven til å konvertere setninger.

• Japansk unngår gjerne altfor direkte formuleringer; en naturlig replikk må ofte bygges opp indirekte på nytt, ikke dempes ord for ord.
• Koreansk utelater subjektet hele tiden; fører du engelske pronomen inn i koreansk like ofte som på engelsk, leses det fremmed selv når hvert ord er riktig.
• Ordstilling, stilnivå, høflighetsformer og det en kultur lar være usagt, endrer seg fra språk til språk; en oversettelse er ikke god fordi den bokstavelige meningen overlevde.

«Godt» lar seg ikke krysse av på en sjekkliste, så vi koker målet ned til én setning: formidle innholdet i videoen godt på målspråket. Det kan måles:

03. Naturlig lyd: den samme personen, på et nytt språk

Uttalen er nesten løst. De interessante feilene ligger forbi den:

• Identitet: den samme personen høres fortsatt ut som den samme personen, på alle språk.
• Følelse: det taleren følte, overlever språkskiftet.
• Trykk, tempo, hensikt: hvor setningen lener seg, hvor fort den går, hva den prøver å oppnå.

Målet kokes ned på samme måte som oversettelsesmålet: lyden stemmer med videoen. Ikke «lag språk B med stemmen fra språk A». Den samme fremføringen, på et nytt språk. Og scenen hører med til lyden: latteren, musikken, rommet.

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

04. Teksten på skjermen er en del av videoen

Moderne video lener seg på tekst på skjermen: bildetekster, vitser, memer, ett enkelt ord lagt på et taktslag. Hver av dem er en visuell hendelse på kildespråket. Å tilpasse den stiller to krav:

• Skad aldri videoen. Artefakter eller visuell distraksjon gjør resultatet dårligere enn originalen.
• Oversett den aldri bokstavelig. Du må forstå hvorfor denne teksten dukker opp akkurat nå, akkurat her, før du kan tilpasse den.

I dag oversetter Familiars multimodale beslutningsmodell for lokalisering (MLDM), den første grunnmodellen for multimodal oversettelse, et nytt paradigme og det første i sitt slag, titler, beskrivelser og undertekster sammen med dubben. Teksten i bildet er under utvikling: en mobilskjerm eller et gateskilt, skrevet med begrepene du allerede har valgt, mens modellen underveis avgjør at et merkenavn eller et navn får stå slik det ble filmet, så en pose Tostitos forblir Tostitos, og du velger hvilken tekst som skal oversettes. Regelen står fast: kan endringen merkes, er den ikke god nok.

05. Leppesynk: vellykket når ingen merker den

Leppesynk har det samme harde kravet: skad aldri videoen. Det største komplimentet leppesynken i en dub kan få, er spørsmålet «hva ble endret?»

Effekten virker også i dubbens favør. Når munnen stemmer, løser hjernen tvetydigheter i retning av samsvar: uttalen oppfattes tydeligere, og klangen oppfattes mer som den samme personen.

De vanskelige delene: stemmer utenfor bildet, talere som snakker i munnen på hverandre, folk som ser eller høres like ut, og å redigere munnen uten å ødelegge ansiktet. Sett to personer i bildet, og dagens verktøy leppesynker begge munnene samtidig.

Leppene er bare begynnelsen. Et menneske fremfører en setning med hele ansiktet (øyne, bryn, kinn, hode) og med kroppen: gester, nikk, det lille halve taktslaget med lytting.

06. Ett problem, ikke fire

Hvert krav ble kokt ned til den samme setningen. Naturlig oversettelse: skriv det denne videoen sier, på målspråket. Naturlig lyd: behold den samme fremføringen i de nye ordene. Tekst på skjermen: vit hvorfor den er der før du rører den. Leppesynk: rediger personen uten å ødelegge den.

Det er det MLDM avgjør, målt på de samme klippene og publisert på /benchmark. Hver beslutning lagres sammen med jobben og kan overstyres; i dag velger de kreative lederne dine blant oversettelsesgjengivelsene.