UITLEG

AI-nasynchronisatie van video, uitgelegd (2026)

FAMILIAR ONDERZOEKBIJGEWERKT ALLE ARTIKELEN
LEES DIT INEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAMENVATTING

AI-nasynchronisatie van video vertaalt de spraak in een video terwijl al het andere blijft: het beeld, de montage, de timing, de muziek en, als het goed gebeurt, de spreker. De stem blijft van hem of haar en het gezicht beweegt mee met de nieuwe woorden: lipsync, en alles wat verder gaat dan de lippen.

Wat is AI-nasynchronisatie van video?

AI-nasynchronisatie van videoDEFINITIE

Nasynchronisatie vervangt het gesproken spoor van een video door een gespeelde vertaling. AI-nasynchronisatie doet dat met machine learning in plaats van met een acteur per taal: de eigen vertolking van de oorspronkelijke spreker, meegenomen naar de nieuwe taal (Waarom Familiar geen traditionele generatieve AI is).
  • Ondertitels vragen het publiek om te lezen.
  • Voice-over geeft de voordracht van de spreker aan een verteller (beide vergeleken in Videovertaling: de complete gids).
  • AI-nasynchronisatie behoudt de identiteit: wie de spreker kent, moet dezelfde persoon herkennen.
DE STEMHELFT · GEZOCHT ALS "STEMKLONEN"DE GEZICHTSHELFT · GEZOCHT ALS "AI-LIPSYNC"

Waar het past: advertenties en bedrijfsvideo, films en series, microdrama's, creatorkanalen die worden beheerd door MCN's (multichannelnetwerken) en lokalisatiepartijen, catalogi van platforms en distributeurs, uitzendingen, onderwijs.

Wat u instuurt, wat er terugkomt

  1. 01

    U stuurt de video in.

  2. 02

    Familiar houdt elke video vast op een beoordelingsscherm.

    Een grap of een beladen zin komt terug als meerdere vertalingen waaruit uw creative directors kiezen, en elke regel is vóór de render te bewerken.
  3. 03

    Een volledige dub komt terug met zes onderdelen.

TRANSCRIPT
WAT HET ISDe bronspraak, uitgeschreven.
VERTALING
WAT HET ISUitdrukkingen en grappen worden herschreven zodat ze landen in de doeltaal; een Niet-vertalen-lijst houdt namen en catchphrases zoals ze gezegd worden.
STEM
WAT HET ISDe vertaalde zin wordt uitgesproken in de eigen stem van de spreker, met diens voordracht.
LIPSYNC
WAT HET ISMond, kaak en mimiek volgen de nieuwe taal: lipsync plus alles eromheen.
SCÈNEGELUID
WAT HET ISDe geluidslaag blijft onder de nieuwe spraak behouden: muziek, geluidseffecten, ruimteklank.
OPLEVERING
WAT HET ISGeleverd tot 4K met een echte 5.1-surround- of stereomix, 24-bits PCM.

Een spreekkoor of een kreet in de oorspronkelijke taal laten, een ander gezicht kiezen en bepalen welke tekst in beeld vertaald wordt, zijn in de maak; elke beslissing wordt bij de dub vastgelegd en is aan te passen.

Het probleem van de vreemde stem

De meeste dubs zakken voor de identiteitstest.

De stem komt uit de ene tool, het gezicht uit een andere, en niets verbindt ze met de persoon. De ondersteunende tools dichten dat gat met een team van VFX-artiesten en weken per project; de tools die nu alles in één keer doen laten het open, en hun lipsync hapert bij een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht of meerdere mensen in beeld. Familiar doet het in één keer, en met de kwaliteit: zijn multimodale beslismodel voor lokalisatie (MLDM), het eerste foundation model voor multimodale vertaling, een nieuw paradigma en het eerste in zijn soort, beslist over allebei, en over wie in beeld de zin uitspreekt, zodat ze kloppen.
HET EERSTE FOUNDATION MODEL VOOR MULTIMODALE VERTALING
  • De stem glijdt af naar iets generieks.
  • Het onveranderde gezicht spreekt de nieuwe audio tegen.
  • De scène wordt weggestript.
  • Sprekers die door elkaar praten, versmelten tot één stem (het klassieke cocktailpartyprobleem).
  • De automatische nasynchronisatie van YouTube vervangt de stem van de spreker door een standaardstem van een vreemde.

De versie voor studio's: Waarom de dub over de grens niet klopt en hoe studio's dat oplossen.

FIG. 01 · FOUTEN VAN ELEVENLABS DUBBING PER KLASSE · AUDIT OP DEZELFDE CLIPS · 5 AUG. 2026
Woorden verloren45
Gebeurtenissen kapot8
Verkeerde stem6
Sprekers botsen6
Vlakke voordracht4
Scène weggestript4

Gepaarde studies op dezelfde clips bevestigen het:

FIG. 02 · GELIJKENIS MET DE SPREKER, DUB VS ECHTE SPREKER · STABIELE DUBBING V1 · 418 GEPAARDE OUTPUTS · 11 TALEN
Familiar0.4605
ElevenLabs0.3604
  • Familiar klinkt 27.8% meer als de echte spreker; alle 11 talen in het voordeel van Familiar.
  • Familiar maakte 48.8% minder bij de controle gemarkeerde fouten in de gesproken output (132 vs 258), dezelfde studie.

Dubbing v2 (Alpha), een aparte studie (111 gepaarde outputs; Mandarijn, Spaans, Japans):

270%

ElevenLabs had 270% meer fouten in het achtergrondgeluid: de lach, de muziek, de sfeer.

11.92 VS 3.22 DB · DUBBING V2 (ALPHA)
54.7%

Familiar maakte 54.7% minder ernstige vertaalfouten in de gesproken tekst.

29 VS 64 · DUBBING V2 (ALPHA)
+28.2%

Familiar scoorde hoger op de correlatie van het verloop van lach en reacties.

0.960 VS 0.749 · DUBBING V2 (ALPHA)

De volledige vergelijking staat in Familiar vs ElevenLabs Dubbing: twee gepaarde studies.

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Wat u controleert voordat u een tool uw catalogus toevertrouwt

Haal één korte clip door een tool en controleer zes dingen (voor een pilot met een seizoen of een catalogus: Een pilot voor AI-nasynchronisatie opzetten (2026)):

  • De test met de ogen dicht. Speel de dub af zonder beeld. Wie de spreker kent, moet nog steeds zeggen dat hij het is.
  • Het gezicht. Lipsync moet verder gaan dan de lippen: mond, kaak en mimiek bewegen mee met de nieuwe woorden.
  • De achtergrond. Muziek, geluidseffecten en ruimteklank moeten onder de nieuwe spraak behouden blijven.
  • Lengte- en batchgrenzen. ElevenLabs weigert alles korter dan 11 seconden (vastgesteld op 5 augustus 2026).
  • Eerst het geleverde opleverniveau, dan de prijs. Welke resolutie terugkomt, of de mix echte 5.1 of stereo is, en wat één opgeleverde minuut omvat met vertaling, stem, lipsync en scènegeluid inbegrepen.
  • Correctie vóór publicatie. Kunt u een vertaalde regel bewerken voordat die rendert?
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos
Vraag waar het materiaal wordt verwerkt. Bij Familiar is dat private inferentie: een achtcijferig cluster van NVIDIA B300 GPU's in Toronto, Canada, in eigen bezit, nooit een publieke cloud of een externe inferentieprovider, zodat uw materiaal nooit uitlekt.
PRIVATE INFERENTIE · TORONTO, CANADA

Wat het kost

FIG. 03 · PRIJS PER OPGELEVERDE MINUUT, PER DOELTAAL · ELEVENLABS = $3/MIN BIJ HET AFREKENEN · 5 AUG. 2026 · BEREIKEN OP HET MIDDEN
ElevenLabs$3 alleen audio
Menselijke stem$39–94
Volledige menselijke dub$70–150
  • Een volledige menselijke dub, vertaling plus stem, kost $70 tot $150 per opgeleverde minuut; daarom dubben zelfs topproducties maar een paar talen en dubben kleinere producties, series en verticale drama's helemaal niet. De stemrijen zijn alleen de gepubliceerde stem- en studiopakketten.
  • Eén render van Familiar is all-in: de vertaling, de eigen stem van de spreker, het scènegeluid en de lipsync, geleverd tot 4K met een echte 5.1- of stereomix; geen van de tarieven hierboven omvat lipsync.
  • Toegang: Studio-contract, afgestemd op uw catalogus; 30 dagen geld terug op getekende jaarcontracten (/pricing).

TALEN

30

Van elke taal naar elke taal.

NASYNCHRONISATIE VAN ALLEEN AUDIO

Per taal

Voor podcasts en stemtracks.

BRONNEN

  1. [1]Benchmark Familiar vs ElevenLabs: alle resultaten, intervallen en luistervoorbeelden
  2. [2]Documentatie ElevenLabs Dubbing (prijs naar bronduur en aantal talen)

Multimodale vertaling

Familiar Labs zet met een multimodaal beslismodel voor lokalisatie (MLDM) een generatiesprong in nasynchronisatie. Het eerste foundation model voor multimodale vertaling: één model beslist wat er gelokaliseerd wordt in tekst, audio en beeld, en laat je de keuzes zien. Jouw stem en lippen, meegenomen naar nieuwe talen. Een team van 8 met PhD's, gesteund door Samsung, RedBird en Gold House. Onze missie

Bekijk de volledige benchmark →Praat met het team