Audiovisuell översättning på en gång, inte i kaskad

01. Vad var maskindubbningens kaskadera?

Maskindubbning började som en kaskad: fyra verktyg på rad, vart och ett byggt och finjusterat för sig, och vart och ett lämnade sitt resultat vidare till nästa.

1. 01

   Transkription.

   Tal till text skriver ned vad som sades.
2. 02

   Översättning.

   En textmodell återger transkriptionen på det nya språket, utan att höra rösten eller se ansiktet.
3. 03

   En röst.

   Text till tal läser upp översättningen, ofta med en främlings röst.
4. 04

   Läppsynk.

   Ett separat verktyg formar munnen efter det nya ljudet, när varje ord redan är låst.

Den kedjan gjorde maskindubbning möjlig. Begränsningen ligger i formen: varje steg gissar utan de andra. Översättningen kan inte veta att repliken måste passa en stängd mun. Rösten kan inte veta vilket rum den hörs i. Ett felhört ord eller en replik som blir för lång skickas vidare, och felet förstärks i varje steg efter det.

Varje verktyg blev bättre med åren: en renare transkription, en skarpare översättning, en mer naturlig röst. Den färdiga dubbningen blev bättre i långsammare takt, eftersom skarvarna mellan verktygen låg kvar där de var.

02. Vad möter en köpare i dag?

I praktiken kommer kaskaden som en hög av verktyg: en transkription från ett, översättningen från ett annat, en röst från ett tredje, läppsynk och undertexter från ett fjärde. Att rätta en replik betyder att köra varje steg efter den en gång till, och någon i ditt team håller ihop filerna. Verktygen som hoppar över högen byter kvalitet mot tid. De assisterande verktygen når kvaliteten med ett team av VFX-artister på de svåra tagningarna: veckor per projekt, och varje språk är ett nytt projekt. Verktygen som dubbar i ett svep är snabba och offrar resten: rösten glider iväg, rummets ljud försvinner och läpparna hänger inte med vid en hand framför ansiktet, en mikrofon, oskärpa, bokeh, en sidovinkel eller flera personer i bild, utan rumsligt resonemang och utan förståelse för världen. Familiar är både ett svep och kvaliteten.

Den andra vägen är full mänsklig dubbning, översättning och röst, för $70–150 per färdig minut. Kostnaden, arbetskraften och tiden gör den ouppnåelig för större delen av världen: även de största produktionerna dubbar bara till ett fåtal språk, och mindre produktioner, serier och vertikala dramer dubbas för det mesta inte alls.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Om du överväger ElevenLabs Dubbing finns här deras dokumentation, citerad, bredvid vår studie:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Vad förändras när en enda modell fattar alla beslut?

Familiar dubbar med en multimodal beslutsmodell för lokalisering (MLDM). MLDM avgör vad som ska lokaliseras och hur, i text, ljud och bild, och besluten hänger ihop eftersom en och samma modell fattar dem. Definitionen finns i Den första grundmodellen för multimodal översättning.

Det du får tillbaka är skådespelarens eget framförande på ett annat språk: rösten, läpparna, ansiktsuttrycken och scenens ljud, förda vidare tillsammans. En uppladdning går ut på alla språk på en gång: dubbningar på 30 språk, från material på något av 99 källspråk.

Att besluten fattas tillsammans ändrar också vad som kan gå fel. En replik som skulle bli för lång återges så att den passar tiden och munnen innan någon röst skapas. Ett skratt mitt i en mening förblir ett skratt. När två personer pratar i munnen på varandra vet modellen vem som säger vilken replik, så att rätt läppar rör sig.

04. Vad ändrar det i den färdiga dubbningen?

Vi kör samma klipp genom båda systemen och bedömer dem på samma sätt. Varje siffra kommer från en egen studie, publicerad i vår benchmark.

Rösten mäts också: Familiar låter 27.8% mer som den verkliga talaren än ElevenLabs Dubbing v1, närmare i alla 11 språk, i studien som citeras ovan.

YouTubes automatiska dubbning visade 232.6% mer fel i bakgrundsljudet i sin egen studie. Scenen överlever eftersom MLDM hör allt i spåret, skratten, publiken, musiken, hittar huvudrösten, för den vidare till det nya språket med talarens egen röst och låter resten vara som det var.

05. Vad betyder ”först översättningen, sedan dubbningen i ett enda svep”?

++

Först översättningen, sedan dubbningen i ett enda svep: rösten, läpparna och scenen tillsammans.

Ordningen spelar roll. Översättningen kommer först, och dina creative directors granskar den: där en replik kan landa på mer än ett sätt ser de återgivningarna med resonemanget bakom var och en och väljer en. Först därefter görs dubbningen, en gång. Inget nytt hittas på. Inte ”generativ AI”, utan översättning i kreatörernas tjänst. MLDM för slitgörat.

Undertexterna skärs enligt konventionerna i Netflix Timed Text Style Guide, den mall för undertexter som branschen arbetar efter. Varje dubbning bearbetas på Familiars eget GPU-kluster med NVIDIA B300, värt åtta siffror, i Toronto i Kanada, aldrig i ett publikt moln som Google Cloud eller AWS och aldrig hos en extern inferensleverantör. Filerna beskrivs i dokumentationen om leveransfiler, bearbetningen under privat inferens, och vad det betyder för en katalog i Vad en grundmodell för multimodal översättning betyder för studior och plattformar.

06. Vem fattar det slutliga beslutet?

1. I DAG

   Dina creative directors granskar översättningsbesluten.

   Återgivningarna med resonemanget bakom var och en; de väljer en innan något går ut.
2. I DAG

   En Översätt inte-lista och en kontextrad på en mening följer med jobbet.

3. UNDER UTVECKLING

   Besluten om ljud och bild, i samma granskning.

   Vad som behålls på originalspråket, ett annat ansikte när modellen valt fel talare, och texten i bilden.

Det som förändras för en katalog är räckvidden. En serie som annars hade stannat på ett språk kan gå ut på 30 på en gång, med skådespelarnas egna framföranden, medan ditt team fortfarande fattar varje beslut som spelar roll.

Det är besluten bakom dubbningen; hela historien finns i Besluten bakom dubbningen: så styr creative directors MLDM, och vad modellen avgör i Vad är en multimodal beslutsmodell för lokalisering (MLDM)? Forskningen bakom finns i Pionjärer inom multimodal översättning. Från människa till människa, med större räckvidd.

FRÅGOR