Audiovisuel oversættelse på én gang, ikke i kæde

01. Hvad var kædens tid i maskinel dubbing?

Maskinel dubbing begyndte som en kæde: fire værktøjer på række, hvert bygget og finjusteret for sig, og hvert gav sit resultat videre til det næste.

1. 01

   Transskription.

   Tale-til-tekst skriver ned, hvad der blev sagt.
2. 02

   Oversættelse.

   En tekstmodel gengiver transskriptionen på det nye sprog uden at høre stemmen eller se ansigtet.
3. 03

   En stemme.

   Tekst-til-tale læser oversættelsen op, ofte med en fremmeds stemme.
4. 04

   Lipsync.

   Et separat værktøj bevæger munden til den nye lyd, efter at hvert ord ligger fast.

Den kæde gjorde maskinel dubbing mulig. Dens begrænsning ligger i selve formen: hvert led gætter uden de andre. Oversættelsen kan ikke vide, at replikken skal passe til en lukket mund. Stemmen kan ikke vide, hvilket rum den hører hjemme i. Et forkert hørt ord eller en replik, der bliver for lang, sendes videre, og fejlen vokser i hvert led efter den.

Hvert værktøj blev bedre med årene: en renere transskription, en skarpere oversættelse, en mere naturlig stemme. Den færdige dub blev langsommere bedre, fordi sømmene mellem værktøjerne blev, hvor de var.

02. Hvad møder en køber i dag?

I praksis kommer kæden som en stak værktøjer: en transskription fra ét, oversættelsen fra et andet, en stemme fra et tredje, lipsync og undertekster fra et fjerde. Rettes én replik, skal alle led efter den køres igen, og en på jeres team holder filerne sammen. De værktøjer, der springer stakken over, bytter kvalitet for tid. De assisterende værktøjer når kvaliteten med et hold af VFX-artister på de svære optagelser: uger pr. projekt, og hvert sprog er et nyt projekt. De værktøjer, der arbejder i én omgang, er hurtige og ofrer resten: stemmen glider, rummet forsvinder, og læberne svigter ved en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel eller flere personer i billedet, uden rumlig ræsonnering og uden forståelse af verden. Familiar er én omgang og kvaliteten.

Den anden vej er komplet dubbing udført af mennesker, oversættelse og stemme, til $70–150 pr. færdigt minut. Prisen, arbejdskraften og tiden gør den uopnåelig for det meste af verden: selv de største produktioner dubber kun til få sprog, og mindre produktioner, serier og vertikale dramaer dubbes for det meste slet ikke.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Overvejer I ElevenLabs Dubbing, er her deres dokumentation, citeret, ved siden af vores studie:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Hvad ændrer sig, når én model træffer alle beslutninger?

Familiar dubber med en multimodal beslutningsmodel til lokalisering (MLDM). MLDM beslutter, hvad der skal lokaliseres og hvordan, på tværs af tekst, lyd og billede, og beslutningerne passer sammen, fordi én model træffer dem. Definitionen står i Den første grundmodel til multimodal oversættelse.

Det, I får tilbage, er skuespillerens egen præstation på et andet sprog: stemmen, læberne, ansigtsudtrykkene og scenens lyd, båret over sammen. Én upload går ud på alle sprog på én gang: dubs på 30 sprog, fra optagelser på et hvilket som helst af 99 kildesprog.

At beslutte samlet ændrer også, hvad der kan gå galt. En replik, der ville blive for lang, gengives, så den passer til tiden og munden, før nogen stemme laves. En latter midt i en sætning forbliver en latter. Når to personer taler i munden på hinanden, ved modellen, hvem der siger hvilken replik, så de rigtige læber bevæger sig.

04. Hvad ændrer det i den færdige dub?

Vi kører de samme klip gennem begge systemer og bedømmer dem på samme måde. Hvert tal kommer fra sit eget studie, offentliggjort i benchmarken.

Stemmen måles også: Familiar lyder 27.8% mere som den rigtige taler end ElevenLabs Dubbing v1, tættere på i alle 11 sprog, i det studie, der er citeret ovenfor.

YouTubes autodubbing viste 232.6% større fejl i baggrundslyden i sit eget studie. Scenen overlever, fordi MLDM hører alt på sporet, latteren, publikum, musikken, finder hovedstemmen, bærer den over i det nye sprog med talerens egen stemme og lader resten være, som det var.

05. Hvad betyder »oversættelsen først, derefter dubbingen i én omgang«?

++

Oversættelsen først, derefter dubbingen i én omgang: stemmen, læberne og scenen sammen.

Rækkefølgen betyder noget. Oversættelsen kommer først, og jeres kreative direktører gennemgår den: hvor en replik kan forstås på flere måder, ser de gengivelserne med begrundelsen for hver af dem og vælger én. Først derefter laves dubben, én gang. Intet nyt bliver fundet på. Ikke »generativ AI«, men oversættelse til gavn for de kreative. MLDM til det møjsommelige arbejde.

Underteksterne klippes efter konventionerne i Netflix' Timed Text Style Guide, den skabelonstandard for undertekster, branchen arbejder efter. Hver dub behandles på Familiars egen klynge til et ottecifret dollarbeløb af NVIDIA B300 GPU'er i Toronto, Canada, aldrig i en offentlig cloud som Google Cloud eller AWS og aldrig hos en ekstern inferensudbyder. Filerne står i dokumentationen om output, behandlingen i privat inferens, og hvad det betyder for et katalog, i Hvad en grundmodel til multimodal oversættelse betyder for produktionsselskaber og platforme.

06. Hvem træffer den endelige beslutning?

1. I DAG

   Jeres kreative direktører gennemgår beslutningerne om oversættelsen.

   Gengivelserne med begrundelsen for hver af dem; de vælger én, før noget går ud.
2. I DAG

   En Oversæt ikke-liste og en kontekst på én sætning følger med jobbet.

3. UNDER UDVIKLING

   Beslutningerne om lyd og billede, i den samme gennemgang.

   Hvad der forbliver på originalsproget, et andet ansigt, når modellen har valgt den forkerte taler, og teksten i billedet.

Det, der ændrer sig for et katalog, er rækkevidden. En serie, der ellers ville være blevet på ét sprog, kan gå ud på 30 på én gang, med skuespillernes egne præstationer, mens jeres team stadig træffer alle de valg, der betyder noget.

Det er beslutningsprotokollen; hele historien står i Beslutningsprotokollen: sådan instruerer kreative direktører MLDM, og hvad modellen beslutter, i Hvad er en multimodal beslutningsmodel til lokalisering (MLDM)? Forskningen bag står i Pionerer inden for multimodal oversættelse: fra fælles audiovisuel forskning til den første grundmodel. Fra menneske til menneske, og ud til langt flere.

SPØRGSMÅL