BEGRIP UITGELEGD

AI-lipsync: wat het is, wat het mist en wat het verslaat (2026)

FAMILIAR ONDERZOEKBIJGEWERKT ALLE ARTIKELEN
LEES DIT INEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAMENVATTING

AI-lipsync stemt de mond opnieuw af op een nieuw audiospoor. Het is de meest gezochte naam voor videovertaling en het kleinste deel van het probleem: een dub houdt alleen stand als de stem die van de spreker blijft, het hele gezicht de nieuwe taal speelt en de scène behouden blijft.

Wat AI-lipsync is

LipsyncAI-LIPSYNC

Een lipsyncmodel vervormt de mond zodat die bij de nieuwe audio past; dat lost de zichtbaarste mismatch van klassieke nasynchronisatie op, en verder niets. Op releasekwaliteit is het vandaag ondersteunend: een team van VFX-artiesten snijdt de gezichten uit, herstelt wat ervoor zit en controleert elk shot, weken per project. De lipsynctools die alles in één keer doen zijn snel, maar haperen bij de gewone shots: een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht, meerdere mensen in beeld; geen ruimtelijk redeneren, geen begrip van de wereld. Familiar doet het in één keer, en met de kwaliteit.

DE ANDERE DRIE LAGEN VAN EEN DUB · ONDER ALLEEN LIPSYNC

STEM
WAT ERMEE GEBEURTNiet het werk van lipsync; hier verliezen de meeste dubs de persoon.
DE REST VAN HET GEZICHT
WAT ERMEE GEBEURTSpeelt nog in de oude taal, een halve tel ernaast.
SCÈNE
WAT ERMEE GEBEURTDe geluidslaag (muziek, effecten, sfeer) en het gelach: onaangeroerd of eerder in de keten beschadigd.

Waarom alleen de lippen tekortschieten, gemeten

Alle cijfers hieronder komen uit gepaarde studies op dezelfde clips, gepubliceerd op /benchmark.

FIG. 01 · GELIJKENIS MET DE SPREKER · STUDIE MET DUBBING V1 · 418 GEPAARDE DUBS · 11 TALEN
Familiar0.461
ElevenLabs0.360
FAMILIAR KLINKT 27.8% MEER ALS DE ECHTE SPREKER · IN ALLE 11 TALEN DICHTERBIJ
270%

meer schade aan het achtergrondgeluid bij ElevenLabs (11.92 vs 3.22 dB)

VS HUN NIEUWSTE DUBBING V2 (ALPHA) · 111 GEPAARDE DUBS · MUZIEK, EFFECTEN EN RUIMTEKLANK
54.7%

minder ernstige vertaalfouten bij Familiar (29 vs 64)

DEZELFDE STUDIE · 3 TALEN
100.3%

van de kwaliteit van menselijke vertaling door experts, bij Familiar

FRANS, CHINEES, HINDI, INDONESISCH (EERSTE VERSIE VAN PROFESSIONELE VERTALERS)
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Lipsync en alles wat verder gaat

Het multimodale beslismodel voor lokalisatie (MLDM) van Familiar, het eerste foundation model voor multimodale vertaling, een nieuw paradigma en het eerste in zijn soort, beslist wie er in beeld spreekt en daarna over de stem en het gezicht, zodat de bewerking verder gaat dan de lippen.

HET EERSTE FOUNDATION MODEL VOOR MULTIMODALE VERTALING

ALLEEN LIPSYNC

  • De lippen: opnieuw afgestemd op de nieuwe audio.

EEN VOLLEDIGE DUB MET FAMILIAR

  • Het hele gezicht: ogen, wenkbrauwen, wangen en hoofd spelen de zin in de nieuwe taal.
  • De stem: die van de spreker zelf, in de nieuwe taal.
  • De scène: de muziek en de lachers blijven waar ze waren, en de mix komt terug als echte 5.1 of stereo.
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

De keuzes: elke beslissing wordt bij de dub vastgelegd en is aan te passen. Vandaag kiest uw reviewer uit de vertalingen; een ander gezicht kiezen of bepalen welke tekst in beeld vertaald wordt, is in de maak.

ALL-IN

de vertaling, de eigen stem van de spreker, het scènegeluid en de lipsync, geleverd tot 4K met een echte 5.1- of stereomix, in één render van opgenomen video, via een Studio-contract

ELEVENLABS NOEMDE BIJ HET AFREKENEN $3, ALLEEN AUDIO · 5 AUG. 2026

Hoe een studio dit toepast: Waarom de dub over de grens niet klopt en hoe studio's dat oplossen.

BRONNEN

  1. [1]Benchmark Familiar vs ElevenLabs: alle resultaten, intervallen en luistervoorbeelden
  2. [2]AI vs menselijke vertaling: getest tegen professionals
  3. [3]AI-nasynchronisatie van video, uitgelegd

Multimodale vertaling

Familiar Labs zet met een multimodaal beslismodel voor lokalisatie (MLDM) een generatiesprong in nasynchronisatie. Het eerste foundation model voor multimodale vertaling: één model beslist wat er gelokaliseerd wordt in tekst, audio en beeld, en laat je de keuzes zien. Jouw stem en lippen, meegenomen naar nieuwe talen. Een team van 8 met PhD's, gesteund door Samsung, RedBird en Gold House. Onze missie

Bekijk de volledige benchmark →Praat met het team