FORSKNINGSNOTAT

Hvad der betyder noget i videooversættelse

FAMILIAR FORSKNINGOPDATERET ALLE ARTIKLER

RESUMÉ

Fire ting afgør, om en dub holder: oversættelsen læses, som var den skrevet på målsproget, lyden lyder stadig som taleren, teksten på skærmen kommer med over, og læberne passer. De to første afgør alt det andet. Alle fire viser sig at være det samme problem: den samme præstation på et andet sprog.

De fire problemer

Spørg, hvad der gør en dubbet video god, og listen bliver lang. Den kan koges ned til fire:

NATURLIG OVERSÆTTELSE
HVAD GODT BETYDEREt nyt manuskript på målsproget, der formidler videoen godt; ikke en oversættelse sætning for sætning.
NATURLIG LYD
HVAD GODT BETYDERDen samme person, den samme følelse, den samme betoning, på det nye sprog.
TEKST PÅ SKÆRMEN
HVAD GODT BETYDERTilpasset sproget og det øjeblik, den dukker op i, uden at skade videoen.
LIPSYNC
HVAD GODT BETYDERUsynlig. Seeren lægger aldrig mærke til, at den er der.

Svigter de to første, betyder resten intet: en fejloversat sætning eller en stemme, der hørbart er forkert, vælter dubben alene. De to sidste afgør, om resultatet føles som originalen eller som en dub.

Naturlig oversættelse: et nyt manuskript, ikke en afbildning

Hvert sprog udtrykker tingene på sin egen måde: ordene, idiomerne, sætningsbygningen, tiltaleformerne, hvad der overhovedet bliver sagt. Bed en model om at »oversætte«, og den afbilder sætningerne én til én fra sprog A til sprog B. Mennesker gør det samme: Får de rollen som oversætter, skrumper opgaven ind til at omsætte sætninger.

En dub, der er oversat på den måde, er forståelig og forkert.

Seeren har brug for et nyt manuskript, skrevet på målsproget, der formidler videoens indhold godt.
  • Japansk undgår gerne alt for direkte formuleringer; en naturlig replik skal ofte bygges op på ny i en indirekte form, ikke blødes op ord for ord.
  • Koreansk udelader hele tiden grundleddet; føres de engelske pronominer over i koreansk lige så hyppigt som på engelsk, lyder det fremmed, selv når hvert ord er korrekt.
  • Ordstilling, stilleje, høflighedsformer og det, en kultur lader være usagt, skifter fra sprog til sprog; en oversættelse er ikke god, blot fordi den bogstavelige betydning overlevede.

»Godt« lader sig ikke sætte på en tjekliste, så vi koger målet ned til én sætning: formidl videoens indhold godt på målsproget. Det kan måles:

100.3%

af kvaliteten i ekspertoversættelse udført af mennesker, fra Familiar, bedømt blindt mod eksperters referenceredigeringer

FRANSK, KINESISK, HINDI, INDONESISK (PROFESSIONELLE EKSPERTOVERSÆTTERES FØRSTE UDKAST)
54.7%

færre vigtige oversættelsesfejl fra Familiar på de samme klip (29 mod 64)

MOD ELEVENLABS DUBBING V2 (ALPHA) · 111 PARREDE DUBS · 3 SPROG

Naturlig lyd: den samme person på et nyt sprog

Udtalen er tæt på at være løst. De interessante fejl ligger længere fremme:

  • Identitet: den samme person lyder fortsat som den samme person, på hvert eneste sprog.
  • Følelse: det, taleren følte, overlever sprogskiftet.
  • Betoning, tempo, hensigt: hvor sætningen lægger vægten, hvor hurtigt den bevæger sig, hvad den prøver at opnå.

Målet koges ned på samme måde som oversættelsens: lyden passer til videoen. Ikke »lav sprog B med stemmen fra sprog A«. Den samme præstation på et nyt sprog. Og scenen er en del af lyden: latteren, musikken, rummet.

270%

større skade på baggrundslyden fra ElevenLabs (11.92 mod 3.22 dB): musik, effekter, atmosfære

STUDIET AF DUBBING V2 (ALPHA) · SAMME KLIP
+27.8%

højere stemmelighed med taleren fra Familiar (0.461 mod 0.360), højere i alle 11 sprog

MOD ELEVENLABS · STUDIET AF DUBBING V1 · 418 PARREDE DUBS
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Tekst på skærmen er en del af videoen

Moderne video læner sig op ad tekst på skærmen: billedtekster, jokes, memes, et enkelt ord timet til et beat. Hver af dem er en visuel begivenhed på kildesproget. At tilpasse dem stiller to krav:

  • Skad aldrig videoen. Artefakter eller visuel uro gør resultatet ringere end originalen.
  • Oversæt den aldrig bogstaveligt. Man skal forstå, hvorfor teksten dukker op netop i dette øjeblik og netop dette sted, før man kan tilpasse den.

I dag oversætter Familiars multimodale beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags, titler, beskrivelser og undertekster sammen med dubben. Teksten i billedet er under udvikling: en telefonskærm eller et gadeskilt, skrevet med de termer, I allerede har valgt, et brand eller et navn bevaret, som det blev filmet, besluttet i farten, så en pose Tostitos forbliver Tostitos, og I vælger, hvilken tekst der skal oversættes. Reglen står fast: kan redigeringen ses, er den ikke god nok.

DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE

Lipsync: lykkes ved ikke at blive bemærket

Lipsync stiller det samme hårde krav: skad aldrig videoen. Den største ros, en dubs lipsync kan få, er spørgsmålet »hvad er blevet ændret?«

Den ser ud til at være den mindst vigtige af de fire; i den færdige oplevelse er den nærmest det modsatte. Mennesker lytter med øjnene: den samme lyd høres som forskellige lyde over forskellige mundbevægelser, McGurk-effekten. En mund, der ikke passer, er én grund til, at dubbet video føles ubehagelig på en måde, seerne ikke kan sætte ord på.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

Effekten virker også til dubbens fordel. Når munden først passer, løser hjernen tvetydigheden i retning af overensstemmelse: udtalen opfattes som tydeligere, og klangen lyder mere som den samme person.

Det svære: stemmer uden for billedet, talere, der overlapper hinanden, personer, der ligner eller lyder ens, og at redigere munden uden at ødelægge ansigtet. Sæt to personer i billedet, og nutidens værktøjer lipsyncer begge munde på én gang.

Læberne er kun begyndelsen. En person fremfører en sætning med hele ansigtet, øjne, bryn, kinder, hoved, og med kroppen: gestik, nik, det halve taktslag, hvor man lytter.

Ét problem, ikke fire

Hvert krav blev ved med at koge ned til den samme sætning. Naturlig oversættelse: skriv det, videoen siger, på målsproget. Naturlig lyd: bevar den samme præstation i de nye ord. Tekst på skærmen: forstå, hvorfor den er der, før du rører den. Lipsync: rediger personen uden at ødelægge den.

Den samme præstation på et andet sprog.

Det er det, MLDM beslutter, målt på de samme klip og offentliggjort på /benchmark. Hver beslutning registreres på jobbet og kan tilsidesættes; i dag vælger jeres kreative direktører mellem oversættelsens gengivelser.

REFERENCER

  1. [1]Familiar mod ElevenLabs-benchmarken: alle resultater, intervaller og lytteeksempler
  2. [2]AI mod menneskelig oversættelse: testet mod professionelle
  3. [3]AI-lipsync: hvad det er, hvad det mangler, og hvad der slår det
  4. [4]Dubben føles forkert i udlandet: sådan løser produktionsselskaber det (studiets version af denne argumentation)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission