SØGEORD FORKLARET

Assisteret visuel AI-dubbing mod fuld AI-dubbing: sådan lokaliseres titler (2026)

FAMILIAR FORSKNINGOPDATERET ALLE ARTIKLER

RESUMÉ

»Lokalisér titler med assisteret visuel AI-dubbing« er Flawless' beskrivelse af TrueSync. Det afgørende ord er assisteret: AI'en klarer ét trin, at flytte munden på skærmen, så den passer til den nye dialog, og mennesker klarer resten. De oversætter, caster og indspiller en stemme pr. skuespiller pr. sprog, markerer, hvilket ansigt der siger hver replik, og gennemgår hver optagelse. De assisterende værktøjer, branchen bruger i dag, kræver et hold af VFX-artister og uger pr. projekt, og hvert sprog er et nyt projekt. Fuld AI-dubbing lokaliserer en titel i én omgang: den færdige titel går ind, og ud kommer oversættelsen, hver skuespillers egen stemme, scenens lyd og ansigtet.

Hvad assisteret betyder, fra leverandørens egen side

Flawless beskriver TrueSync i fire trin, citeret fra deres side om lokalisering:

MASTEREN IND. »Lever jeres master og den dubbede lyd på jeres målsprog.« VUB HVER PRÆSTATION. »TrueSync synkroniserer hver præstation på skærmen med den nye dialog.« GENNEMGANG I 8K. »Kvalitetskontrol efter jeres standarder i tabsfri farve, klar til biografen.« LEVERET VIA PARTNERE. »Den endelige levering går gennem Pixelogic, Deluxe og andre.«
FLAWLESS · LOCALIZE TITLES WITH ASSISTIVE AI VISUAL DUBBING

To linjer mere fra samme side trækker grænsen. TrueSync er »lyduafhængig«: den tager imod dubbet lyd fra enhver kilde og »genererer, ændrer eller syntetiserer« ikke lyd. Og den »genererer, udskifter eller syntetiserer ikke ansigter«: den justerer ansigtsanimationen i den oprindelige præstation efter de nye ord. Visuel dubbing, eller vubbing, er netop den ene justering.

Det menneskelige arbejde i en assisteret proces

For hver titel og hvert sprog, før og efter AI-trinnet:

  1. 01

    Oversæt og tilpas manuskriptet,

    med hver replikks timing for øje.
  2. 02

    Cast og indspil en stemmeskuespiller pr. skuespiller på skærmen,

    hver på sit eget rene spor, fordi synkroniseringen kræver én stemme pr. ansigt. To personer, der taler over ét mixet spor, skal først skilles ad.
  3. 03

    Markér, hvilket ansigt der siger hver replik

    i hver optagelse, så synkroniseringen rammer den rigtige mund.
  4. 04

    Kør synkroniseringen,

    AI-trinnet.
  5. 05

    Gennemgå optagelse for optagelse i 8K

    efter produktionens standarder.
  6. 06

    Tilpas og levér

    gennem et lokaliseringshus.

Fem af de seks trin er mennesker, og de to dyreste, casting og indspilning af dubben, er det, en almindelig dub allerede betaler for. En komplet dub udført af mennesker, oversættelse plus stemme, koster $70–150 pr. færdigt minut, og derfor dubber selv de største produktioner kun til få sprog; den assisterede runde kommer oveni. Den er også et trin inde i produktionen: den kræver dialogen pr. skuespiller og de folk, der lavede titlen.

En færdig titel i et bibliotek, år efter at mixet blev låst, har ingen af delene.

Hvad den fulde løsning gør i stedet

De værktøjer, der i dag dubber i én omgang, er hurtige og ofrer resten: oversættelsen kan ikke redigeres, musikken og rummet forsvinder, stemmen glider væk fra taleren, og læberne svigter ved en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel eller flere personer i billedet, uden rumlig ræsonnering og uden forståelse af verden. Fuld AI-dubbing er én omgang og kvaliteten. Den starter fra den færdige titel, det mixede spor og det hele; Familiars multimodale beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags, beslutter resten:

DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE
SCENENS LYD
FULD AI-DUBBINGBevarer scenens lyd under den nye dialog: musikken, publikum, latteren.
OVERSÆTTELSE
FULD AI-DUBBINGOversætter med flere gengivelser af en joke eller en ladet replik, som jeres gennemlæser vælger imellem på hvert sprog, før noget renderes.
STEMME
FULD AI-DUBBINGTaler med skuespillerens egen stemme, klonet over i det nye sprog; på de samme klip målte Familiar sig 27.8% tættere på den rigtige taler end ElevenLabs Dubbing v1.
ANSIGT
FULD AI-DUBBINGTilpasser ansigtet: mund, kæbe, øjne, bryn, kinder og hoved på den, der taler, med flere personer i billedet og hænder eller mikrofoner foran munden; at vælge et andet ansigt til en replik er under udvikling.
SPROG
FULD AI-DUBBINGRenderer alle sprog på én gang, 30 outputsprog fra optagelser på et hvilket som helst af 99 kildesprog.
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Fuld AI-dubbing leverer det, efterproduktionen forventer:

BILLEDE

Op til 4K

I dag.

MIX

5.1 eller stereo

Hele mixet som ægte 5.1-surround eller stereo.

MASTERE

ProRes eller mp4

ProRes-mastere på Studio-leverancer eller mp4 via API.

DIALOG

Kun dialog

Sporet med dialogen alene.

UNDERTEKSTER

srt og vtt

Fra den gennemgåede transskription, klippet efter konventionerne i Netflix' Timed Text Style Guide.

METADATA

Titel og beskrivelse

Oversat.

Hvem hver af dem er bygget til

ASSISTERET VISUEL DUBBING

  • Flagskibstitlen til biografen, med instruktørens godkendelse af hvert billede og en master i 8K.
  • En titel, der allerede har en menneskelig dub, som studiet elsker og vil have ansigterne flyttet til.
  • Beviset er Flawless' eget: Watch the Skies, fra svensk til engelsk, den første film med visuel dubbing, der fik biografpremiere.
  • En tidsplan på uger pr. projekt med et hold af VFX-artister, og hvert sprog er et nyt projekt.

FULD AI-DUBBING

  • Kataloget, bagefter: en streamingtjeneste, en distributør eller et tv-selskab med tusindvis af færdige titler og intet produktionshold til rådighed.
  • Alt, der sætter et rigtigt menneske foran et publikum: serier og mikrodramaer, undervisning, reklamer, virksomhedsvideo, udsendelser, creator-kanaler.
  • Alle sprog på én gang, ved upload, hvert sprog holdt til sin gennemlæser og udgivet, når det er godkendt.
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Det løft, begge jagter

Flawless offentliggør tre engagementstal for titler med visuel dubbing, med deres egne sammenligningsgrundlag:

23×

Flere streamede minutter end den rene lyddub af samme titel (Vincent Must Die, fra fransk til engelsk). Flawless' tal.

9×

Flere unikke streams pr. titel med visuel dubbing. Flawless' tal.

+260%

Højere gennemførelsesrate end almindelige dubs. Flawless' tal.

Familiars egne parrede målinger, mod ElevenLabs, YouTubes autodubbing og menneskelige oversættere: benchmark-hubben.

SPØRGSMÅL

Hvad er assisteret visuel AI-dubbing?

En arbejdsgang, hvor mennesker laver dubben (oversættelse, casting, indspilning af en stemme pr. skuespiller pr. sprog), og en AI-model justerer ansigterne på skærmen efter den nye dialog, efterfulgt af en menneskelig gennemgang optagelse for optagelse. Flawless TrueSync beskriver sig selv sådan.

Hvad er vubbing?

Visuel dubbing: at synkronisere de oprindelige skuespilleres ansigtspræstation på skærmen med dialog på et nyt sprog, uden at generere eller udskifte ansigterne.

Omfatter assisteret visuel dubbing stemmen?

Nej. TrueSync er lyduafhængig og genererer, ændrer eller syntetiserer ikke lyd, efter deres egen beskrivelse. Det dubbede stemmespor kommer fra jeres stemmeskuespillere eller en anden kilde.

Kan en distributør bruge det uden den oprindelige produktion?

Det fungerer bedst med produktionen i rummet: instruktørens standarder styrer kvalitetskontrollen, stemmeskuespillere castes til hver rolle, og gennemgangen sker optagelse for optagelse. En distributør, der kun har masteren og rettighederne, skal samle det hold pr. titel. Fuld AI-dubbing kræver masteren.

Kan det gøres bagefter, på en færdig titel?

Assisteret visuel dubbing planlægges ind i produktionen: den kræver en indspillet dub pr. sprog og produktionens folk til markering og gennemgang. Fuld AI-dubbing starter fra den færdige titel, som den blev udgivet, så et bagkatalog kan dubbes år efter, at mixet blev låst.

Hvad er forskellen på visuel dubbing og fuld AI-dubbing?

Visuel dubbing flytter munden efter en dub, I allerede har lavet. Fuld AI-dubbing laver dubben: oversættelsen, skuespillerens egen stemme, scenens lyd og ansigtet, fra den færdige titel, i én rendering.

Leverer fuld AI-dubbing i 8K?

Familiar renderer i op til 4K i dag, leveret som ProRes-mastere på Studio-leverancer eller mp4 via API, med et ægte 5.1-surround- eller stereomix. TrueSync gennemgår og leverer i 8K.

REFERENCER

  1. [1]Netflix, Timed Text Style Guide: Subtitle Templates, læst 30. oktober 2026
  2. [2]Flawless, Localize Titles with Assistive AI Visual Dubbing (TrueSync), læst 18. september 2026
  3. [3]Familiar mod Flawless TrueSync: fuld AI-dubbing mod assisteret visuel dubbing
  4. [4]AI-lipsync: hvad det er, hvad det mangler, og hvad der slår det
  5. [5]Familiar mod ElevenLabs Dubbing: de to parrede studier
  6. [6]Hvad koster dubbing i 2026?

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission