Audiovisuell oversettelse i én omgang, ikke i kaskade

01. Hva var kaskadeæraen i maskinell dubbing?

Maskinell dubbing begynte som en kaskade: fire verktøy etter hverandre, hvert bygd og finjustert for seg, og hvert sendte resultatet sitt videre til det neste.

1. 01

   Transkripsjon.

   Tale til tekst skriver ned det som ble sagt.
2. 02

   Oversettelse.

   En tekstmodell gjengir transkripsjonen på det nye språket uten å høre stemmen eller se ansiktet.
3. 03

   En stemme.

   Tekst til tale leser oversettelsen høyt, ofte med en fremmed stemme.
4. 04

   Leppesynk.

   Et separat verktøy beveger munnen etter den nye lyden, når hvert ord allerede er låst.

Den kjeden gjorde maskinell dubbing mulig. Begrensningen ligger i formen: hvert ledd gjetter uten de andre. Oversettelsen kan ikke vite at replikken må passe en lukket munn. Stemmen kan ikke vite hvilket rom den hører hjemme i. Et feilhørt ord eller en replikk som blir for lang, sendes videre, og feilen hoper seg opp i hvert ledd etterpå.

Hvert verktøy ble bedre med årene: en renere transkripsjon, en skarpere oversettelse, en mer naturlig stemme. Den ferdige dubben ble bedre langsommere, fordi skjøtene mellom verktøyene ble liggende der de var.

02. Hva møter en kjøper i dag?

I praksis kommer kaskaden som en stabel verktøy: transkripsjonen fra ett, oversettelsen fra et annet, en stemme fra et tredje, leppesynk og undertekster fra et fjerde. Å rette én replikk betyr å kjøre hvert ledd etter den på nytt, og noen i teamet ditt må holde filene sammen. Verktøyene som hopper over stabelen, bytter kvalitet mot tid. De assisterende verktøyene når kvaliteten med et team av VFX-artister på de vanskelige opptakene: uker per prosjekt, og hvert språk er et nytt prosjekt. Verktøyene som dubber i én omgang, er raske og ofrer resten: stemmen glir bort, rommet forsvinner, og leppene svikter ved en hånd foran ansiktet, en mikrofon, uskarphet, bokeh, en sidevinkel eller flere personer i bildet, uten romlig resonnering og uten forståelse av verden. Familiar er én omgang og kvaliteten.

Den andre veien er komplett dubbing utført av mennesker, oversettelse og stemme, til $70–150 per ferdig minutt. Kostnadene, arbeidskraften og tiden gjør den utilgjengelig for det meste av verden: selv de største produksjonene dubbes bare til noen få språk, og mindre produksjoner, serier og vertikale dramaer dubbes stort sett ikke i det hele tatt.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Vurderer du ElevenLabs Dubbing, er her dokumentasjonen deres, sitert, ved siden av studien vår:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Hva endres når én modell tar alle beslutningene?

Familiar dubber med en multimodal beslutningsmodell for lokalisering (MLDM). MLDM avgjør hva som skal lokaliseres, og hvordan, på tvers av tekst, lyd og bilde, og beslutningene henger sammen fordi én modell tar dem. Definisjonen står i Den første grunnmodellen for multimodal oversettelse.

Det du får tilbake, er skuespillerens egen fremføring på et annet språk: stemmen, leppene, ansiktsuttrykkene og lyden i scenen, båret over samlet. Én opplasting går ut på alle språk samtidig: dubber på 30 språk, fra opptak på hvilket som helst av 99 kildespråk.

Å avgjøre alt samlet endrer også hva som kan gå galt. En replikk som ville blitt for lang, gjengis slik at den passer tiden og munnen før noen stemme lages. En latter midt i en setning forblir en latter. Når to personer snakker i munnen på hverandre, vet modellen hvem som sier hvilken replikk, så de riktige leppene beveger seg.

04. Hva endrer det i den ferdige dubben?

Vi kjører de samme klippene gjennom begge systemene og skårer dem på samme måte. Hvert tall kommer fra sin egen studie, publisert i benchmarken.

Stemmen måles også: Familiar høres 27.8% mer ut som den ekte taleren enn ElevenLabs Dubbing v1, nærmere på alle 11 språk, i studien som er sitert ovenfor.

YouTubes autodubbing hadde 232.6% mer feil i bakgrunnslyden i sin egen studie. Scenen overlever fordi MLDM hører alt i lydsporet, latteren, publikum, musikken, finner hovedstemmen, bærer den over i det nye språket med talerens egen stemme og lar resten være som det var.

05. Hva betyr «først oversettelsen, så dubben i én omgang»?

++

Først oversettelsen, så dubben i én omgang: stemmen, leppene og scenen samlet.

Rekkefølgen betyr noe. Oversettelsen kommer først, og de kreative lederne dine går gjennom den: der en replikk kan oppfattes på flere måter, ser de gjengivelsene med begrunnelsen bak hver av dem og velger én. Først da lages dubben, én gang. Ingenting nytt blir funnet på. Ikke «generativ KI», men oversettelse i de kreatives tjeneste. MLDM for det møysommelige arbeidet.

Undertekstene er tilpasset konvensjonene i Netflix' Timed Text Style Guide, undertekstmalen bransjen arbeider etter. Hver dub behandles på Familiars egen GPU-klynge til et åttesifret dollarbeløp, med NVIDIA B300-brikker, i Toronto i Canada, aldri i en offentlig sky som Google Cloud eller AWS, og aldri hos en ekstern inferensleverandør. Filene står i dokumentasjonen om leveransene, behandlingen under privat inferens, og hva det betyr for en katalog, i Hva en grunnmodell for multimodal oversettelse betyr for studioer og plattformer.

06. Hvem har siste ord?

1. I DAG

   De kreative lederne dine går gjennom oversettelsesbeslutningene.

   Gjengivelsene med begrunnelsen bak hver av dem; de velger én før noe går ut.
2. I DAG

   En liste over det som ikke skal oversettes, og en kontekst på én setning følger med jobben.

3. UNDER UTVIKLING

   Lyd- og bildebeslutningene, i den samme gjennomgangen.

   Hva som skal bli stående på originalspråket, et annet ansikt når modellen valgte feil taler, og teksten i bildet.

Det som endres for en katalog, er rekkevidden. En serie som ellers ville blitt værende på ett språk, kan gå ut på 30 samtidig, med skuespillernes egne fremføringer, mens teamet ditt fortsatt tar hver avgjørelse som betyr noe.

Det er beslutningsprotokollen; hele historien står i Beslutningsprotokollen: slik styrer kreative ledere MLDM, og hva modellen avgjør, i Hva er en multimodal beslutningsmodell for lokalisering (MLDM)? Forskningen bak står i Pionerer innen multimodal oversettelse: fra felles audiovisuell forskning til den første grunnmodellen. Fra menneske til menneske, med større rekkevidde.

SPØRSMÅL