SØGEORD FORKLARET

AI-lipsync: hvad det er, hvad det mangler, og hvad der slår det (2026)

FAMILIAR FORSKNINGOPDATERET ALLE ARTIKLER
LÆS ARTIKLEN PÅEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUMÉ

AI-lipsync tilpasser munden til et nyt lydspor. Det er det mest søgte navn for videooversættelse og den mindste del af problemet: en dub holder kun, hvis stemmen forbliver talerens egen, hele ansigtet spiller på det nye sprog, og scenen bevares.

Hvad AI-lipsync er

LipsyncAI-LIPSYNC

En lipsync-model former munden efter den nye lyd; det løser den mest synlige uoverensstemmelse i klassisk dubbing og intet andet. I udgivelseskvalitet er det i dag et assisterende værktøj: et hold af VFX-artister beskærer ansigterne, retter det, der dækker dem, og gennemgår hver optagelse, uger pr. projekt. De lipsync-værktøjer, der arbejder i én omgang, er hurtige og svigter på helt almindelige optagelser: en hånd foran ansigtet, en mikrofon, uskarphed, bokeh, en sidevinkel, flere personer i billedet; ingen rumlig ræsonnering, ingen forståelse af verden. Familiar er én omgang og kvaliteten.

DUBBENS TRE ANDRE LAG · MED LIPSYNC ALENE

STEMME
HVAD DER SKER MED DETIkke lipsyncens opgave; det er her, de fleste dubs mister personen.
RESTEN AF ANSIGTET
HVAD DER SKER MED DETSpiller stadig på det gamle sprog, et halvt slag forskudt.
SCENE
HVAD DER SKER MED DETLydtæppet (musik, effekter, atmosfære) og latteren: urørt eller beskadiget længere oppe i kæden.

Hvorfor læberne alene ikke rækker, målt

Alle tal nedenfor kommer fra parrede studier på de samme klip, offentliggjort på /benchmark.

FIG. 01 · STEMMELIGHED MED TALEREN · STUDIET MOD DUBBING V1 · 418 PARREDE DUBS · 11 SPROG
Familiar0.461
ElevenLabs0.360
FAMILIAR LYDER 27.8% MERE SOM DEN RIGTIGE TALER · TÆTTERE PÅ I ALLE 11 SPROG
270%

større skade på baggrundslyden fra ElevenLabs (11.92 mod 3.22 dB)

MOD DERES NYESTE DUBBING V2 (ALPHA) · 111 PARREDE DUBS · MUSIK, EFFEKTER OG RUMMETS ATMOSFÆRE
54.7%

færre vigtige oversættelsesfejl fra Familiar (29 mod 64)

SAMME STUDIE · 3 SPROG
100.3%

af kvaliteten i ekspertoversættelse udført af mennesker, fra Familiar

FRANSK, KINESISK, HINDI, INDONESISK (PROFESSIONELLE EKSPERTOVERSÆTTERES FØRSTE UDKAST)
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Lipsync og alt det, der kommer bagefter

Familiars multimodale beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse, et nyt paradigme og det første af sin slags, beslutter, hvem på skærmen der taler, og derefter stemmen og ansigtet, så redigeringen rækker ud over læberne.

DEN FØRSTE GRUNDMODEL TIL MULTIMODAL OVERSÆTTELSE

LIPSYNC ALENE

  • Læberne: tilpasset den nye lyd.

EN FULD DUB MED FAMILIAR

  • Hele ansigtet: øjne, bryn, kinder og hoved spiller sætningen på det nye sprog.
  • Stemmen: talerens egen, på det nye sprog.
  • Scenen: musikken og grinene bliver, hvor de var, og mixet kommer tilbage i ægte 5.1 eller stereo.
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Valgene: hver beslutning registreres på jobbet og kan tilsidesættes. I dag vælger jeres gennemlæser mellem oversættelsens forskellige gengivelser; at vælge et andet ansigt, eller hvilken tekst på skærmen der skal oversættes, er under udvikling.

ALT INKLUDERET

oversættelsen, talerens egen stemme, scenens lyd og lipsyncen, leveret i op til 4K med et ægte 5.1- eller stereomix, i én rendering af optaget video, via Studio-kontrakt

ELEVENLABS OPLYSTE $3 VED KASSEN, KUN LYD · 5. AUGUST 2026

Sådan bruger et produktionsselskab det: Dubben føles forkert i udlandet: sådan løser produktionsselskaber det.

REFERENCER

  1. [1]Familiar mod ElevenLabs-benchmarken: alle resultater, intervaller og lytteeksempler
  2. [2]AI mod menneskelig oversættelse: testet mod professionelle
  3. [3]AI-videodubbing forklaret

Multimodal oversættelse

Familiar Labs laver en ny generation af dubbing med en multimodal beslutningsmodel til lokalisering (MLDM), den første grundmodel til multimodal oversættelse: én model beslutter, hvad der skal lokaliseres på tværs af tekst, lyd og billede, og viser dig valgene. Din stemme og dine læber, båret over i nye sprog. De er et team på 8 med ph.d.er, støttet af Samsung, RedBird og Gold House. Vores mission

Se hele benchmarken →Tal med teamet