FORKLARING

AI-videodubbing forklaret (2026)

FAMILIAR FORSKNINGOPDATERET ALLE ARTIKLER
LÆS ARTIKLEN PÅEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUMÉ

AI-videodubbing oversætter talen i en video, mens alt andet bliver: optagelserne, klipningen, timingen, musikken og, når det gøres rigtigt, taleren. Stemmen forbliver deres egen, og ansigtet bevæger sig med de nye ord: lipsync og alt det, der ligger ud over læberne.

Hvad er AI-videodubbing?

AI-videodubbingDEFINITION

Dubbing erstatter en videos talespor med en spillet oversættelse. AI-videodubbing gør det med maskinlæring i stedet for en skuespiller pr. sprog: den oprindelige talers egen præstation, båret over i det nye sprog (Hvorfor Familiar ikke er generativ AI i traditionel forstand).
  • Undertekster beder publikum om at læse.
  • Speak overlader talerens fremførelse til en fortæller (begge sammenlignet i Videooversættelse: den komplette guide).
  • AI-dubbing bevarer identiteten: en, der kender taleren, skal kunne genkende den samme person.
STEMMEHALVDELEN · SØGT SOM »STEMMEKLONING«ANSIGTSHALVDELEN · SØGT SOM »AI-LIPSYNC«

Hvor det passer ind: reklamer og virksomhedsvideo, film og tv, mikrodramaer, creator-kanaler drevet af creator-netværk (multikanalnetværk) og lokaliseringsoperatører, kataloger hos platforme og distributører, udsendelser, undervisning.

Hvad I sender, og hvad I får tilbage

  1. 01

    I sender videoen.

  2. 02

    Familiar sætter hver video på pause ved en gennemgangsskærm.

    En joke eller en ladet replik kommer tilbage som flere gengivelser, som jeres kreative direktører vælger imellem, og enhver linje kan redigeres før renderingen.
  3. 03

    En fuld dub kommer tilbage med seks ting.

TRANSSKRIPTION
HVAD DEN ERKildens tale, skrevet ud.
OVERSÆTTELSE
HVAD DEN ERIdiomer og jokes skrives om, så de lander på målsproget; en Oversæt-ikke-liste holder navne og slagord, som de blev sagt.
STEMME
HVAD DEN ERDen oversatte replik siges med talerens egen stemme og fremførelse.
LIPSYNC
HVAD DEN ERMund, kæbe og ansigtsudtryk passer til det nye sprog: lipsync plus alt omkring det.
SCENENS LYD
HVAD DEN ERLydtæppet bevares under den nye tale: musik, lydeffekter, rummets atmosfære.
LEVERING
HVAD DEN ERLeveret i op til 4K med et ægte 5.1-surround- eller stereomix, 24-bit PCM.

At beholde et råb eller et kor på originalsproget, vælge et andet ansigt og bestemme, hvilken tekst på skærmen der skal oversættes, er under udvikling; hver beslutning registreres på jobbet og kan tilsidesættes.

Problemet med den fremmede stemme

De fleste dubs dumper identitetstesten.

Stemmen kommer fra ét værktøj, ansigtet fra et andet, og intet binder dem til personen. De assisterende værktøjer lukker hullet med et hold af VFX-artister og uger pr. projekt; de værktøjer, der i dag arbejder i én omgang, lader det stå åbent, og deres lipsync svigter ved en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel eller flere personer i billedet. Familiar er én omgang og kvaliteten: dens multimodale beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags, beslutter begge dele, og hvem på skærmen der siger replikken, så de passer sammen.
DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE
  • Stemmen glider over i noget generisk.
  • Det uændrede ansigt modsiger den nye lyd.
  • Scenen bliver strippet.
  • Talere, der overlapper, smelter sammen til én stemme (det klassiske cocktailpartyproblem).
  • YouTubes autodubbing erstatter talerens stemme med en fremmed standardstemme.

Produktionsselskabets version: Dubben føles forkert i udlandet: sådan løser produktionsselskaber det.

FIG. 01 · FEJL I ELEVENLABS DUBBING EFTER TYPE · GENNEMGANG AF DE SAMME KLIP · 5. AUG. 2026
Tabte ord45
Ødelagte hændelser8
Forkert stemme6
Talere smelter sammen6
Flad fremførelse4
Scenen strippet4

Parrede studier på de samme klip siger det samme:

FIG. 02 · STEMMELIGHED, DUB MOD DEN RIGTIGE TALER · DET STABILE DUBBING V1 · 418 PARREDE OUTPUT · 11 SPROG
Familiar0.4605
ElevenLabs0.3604
  • Familiar lyder 27.8% mere som den rigtige taler; alle 11 sprog faldt ud til Familiars fordel.
  • Familiar lavede 48.8% færre fejl i det talte output, markeret ved gennemgangen (132 mod 258), i samme studie.

Dubbing v2 (Alpha), et separat studie (111 parrede output; mandarin, spansk, japansk):

270%

ElevenLabs havde 270% større fejl i baggrundslyden: latteren, musikken, atmosfæren.

11.92 MOD 3.22 DB · DUBBING V2 (ALPHA)
54.7%

Familiar lavede 54.7% færre vigtige oversættelsesfejl i det talte.

29 MOD 64 · DUBBING V2 (ALPHA)
+28.2%

Familiar scorede højere på korrelationen af latterens og reaktionernes form.

0.960 MOD 0.749 · DUBBING V2 (ALPHA)

Hele den direkte sammenligning står i Familiar mod ElevenLabs Dubbing: to parrede studier.

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Hvad I skal tjekke, før I betror et værktøj jeres katalog

Kør ét kort klip gennem et hvilket som helst værktøj, og tjek seks ting (til et pilotprojekt med en sæson eller et katalog: Sådan kører man et pilotprojekt med AI-dubbing (2026)):

  • Testen med lukkede øjne. Afspil dubben uden billede. En, der kender taleren, skal stadig kunne sige, at det er dem.
  • Ansigtet. Lipsyncen skal række ud over læberne: mund, kæbe og ansigtsudtryk, der bevæger sig med de nye ord.
  • Baggrunden. Musik, lydeffekter og rummets atmosfære skal overleve under den nye tale.
  • Grænser for længde og batches. ElevenLabs afviser alt under 11 sekunder (observeret 5. august 2026).
  • Leveringsspecifikationen, derefter prisen. Hvilken opløsning der kommer tilbage, om mixet er ægte 5.1 eller stereo, og hvad ét færdigt minut dækker med oversættelse, stemme, lipsync og scenens lyd inkluderet.
  • Rettelser før udgivelse. Kan I redigere en oversat linje, før den renderes?
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos
Spørg, hvor optagelserne behandles. Hos Familiar er det privat inferens: en klynge til et ottecifret dollarbeløb af NVIDIA B300 GPU'er i Toronto, Canada, som vi selv ejer, aldrig en offentlig cloud eller en ekstern inferensudbyder, så jeres medier aldrig lækkes.
PRIVAT INFERENS · TORONTO, CANADA

Hvad det koster

FIG. 03 · PRIS PR. FÆRDIGT MINUT PR. MÅLSPROG · ELEVENLABS = $3/MIN VED KASSEN · 5. AUG. 2026 · INTERVALLER VED MIDTPUNKTET
ElevenLabs$3 kun lyd
Menneskelig stemme$39–94
Komplet menneskelig dub$70–150
  • Komplet dubbing udført af mennesker, oversættelse plus stemme, koster $70 til $150 pr. færdigt minut, så selv de største produktioner dubber kun til få sprog, og mindre produktioner, serier og vertikale dramaer dubbes slet ikke; stemmerækkerne er alene de offentliggjorte stemme- og studiepakker.
  • Én Familiar-rendering er alt inkluderet: oversættelsen, talerens egen stemme, scenens lyd og lipsyncen, leveret i op til 4K med et ægte 5.1- eller stereomix; ingen af priserne ovenfor omfatter lipsync.
  • Adgang: Studio-kontrakt, tilpasset jeres katalog; 30 dages pengene tilbage på underskrevne årskontrakter (/pricing).

SPROG

30

Fra hvilket som helst til hvilket som helst.

DUBBING AF KUN LYD

Pr. sprog

Til podcasts og stemmespor.

REFERENCER

  1. [1]Familiar mod ElevenLabs-benchmarken: alle resultater, intervaller og lytteeksempler
  2. [2]ElevenLabs Dubbing-dokumentation (pris efter kildens varighed og antal sprog)

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission

Se hele benchmarken →Tal med teamet