Wat er echt telt bij videovertaling

01. De vier problemen

Vraag wat een gedubde video goed maakt en u krijgt een lange lijst. Die laat zich terugbrengen tot vier punten:

Gaan de eerste twee mis, dan doet de rest er niet meer toe: één verkeerd vertaalde zin of een hoorbaar verkeerde stem is op zichzelf genoeg om de dub onderuit te halen. De laatste twee bepalen of het resultaat aanvoelt als het origineel of als een dub.

02. Natuurlijke vertaling: een nieuw script, geen omzetting

Elke taal zegt dingen op haar eigen manier: woorden, uitdrukkingen, zinsbouw, aanspreekvormen, wat er überhaupt gezegd wordt. Vraag een model om te "vertalen" en het zet zinnen één op één om van taal A naar taal B. Mensen doen hetzelfde: zodra ze zich als vertaler zien, krimpt de taak tot het omzetten van zinnen.

• Japans vermijdt liever te directe formuleringen; een natuurlijke zin moet vaak indirect opnieuw worden opgebouwd, niet woord voor woord worden afgezwakt.
• Koreaans laat het onderwerp voortdurend weg; wie Engelse voornaamwoorden even vaak in het Koreaans gebruikt, klinkt vreemd, ook als elk woord klopt.
• Woordvolgorde, register, beleefdheidsvormen en wat een cultuur onuitgesproken laat, verschuiven met elke taal; een vertaling is niet goed omdat de letterlijke betekenis overeind bleef.

"Goed" laat zich niet afvinken, dus brengen we het doel terug tot één zin: breng de inhoud van de video goed over in de doeltaal. Dat is meetbaar:

03. Natuurlijke audio: dezelfde persoon, in een nieuwe taal

Uitspraak is zo goed als opgelost. De interessante fouten liggen daarna:

• Identiteit: dezelfde persoon blijft klinken als dezelfde persoon, in elke taal.
• Emotie: wat de spreker voelde, overleeft de taalwissel.
• Nadruk, tempo, bedoeling: waar de zin op leunt, hoe snel hij gaat, wat hij probeert te doen.

Het doel laat zich op dezelfde manier samenvatten als bij de vertaling: de audio past bij de video. Niet "maak taal B in de stem uit taal A", maar dezelfde performance, in een nieuwe taal. En de scène hoort bij de audio: het gelach, de muziek, de ruimte.

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

04. Tekst in beeld hoort bij de video

Moderne video leunt op tekst in beeld: bijschriften, grappen, memes, één woord dat precies op de beat valt. Elk daarvan is een visuele gebeurtenis in de brontaal. Wie het wil aanpassen, moet aan twee eisen voldoen:

• Beschadig de video nooit. Artefacten of visuele afleiding maken het resultaat slechter dan het origineel.
• Vertaal het nooit letterlijk. U moet begrijpen waarom deze tekst op dit moment, op deze plek verschijnt, voordat u hem kunt aanpassen.

Vandaag vertaalt het multimodale beslismodel voor lokalisatie (MLDM) van Familiar, het eerste foundation model voor multimodale vertaling, een nieuw paradigma en het eerste in zijn soort, titels, beschrijvingen en ondertitels samen met de dub. Tekst in het beeld zelf is in de maak: een telefoonscherm of een straatnaambord, geschreven in de termen die u al hebt gekozen, een merk of een naam die het model ter plekke laat staan zoals gefilmd, dus een zak Tostitos blijft Tostitos, en u kiest welke tekst er vertaald wordt. De regel blijft: als de bewerking op te merken is, is ze niet goed genoeg.

05. Lipsync: slagen door onopgemerkt te blijven

Voor lipsync geldt dezelfde harde eis: beschadig de video nooit. Het grootste compliment dat de lipsync van een dub kan krijgen, is de vraag "wat is er veranderd?"

Het effect werkt ook in het voordeel van de dub. Zodra de mond klopt, lost het brein twijfel op in de richting van overeenstemming: de uitspraak klinkt helderder en het stemtimbre klinkt meer als dezelfde persoon.

De lastige gevallen: stemmen buiten beeld, sprekers door elkaar, mensen die op elkaar lijken of klinken, en de mond bewerken zonder het gezicht te breken. Zet twee mensen in beeld en de tools van vandaag synchroniseren beide monden tegelijk.

De lippen zijn pas het begin. Iemand speelt een zin met het hele gezicht -- ogen, wenkbrauwen, wangen, hoofd -- en met het lichaam: gebaren, knikjes, de halve tel van luisteren.

06. Eén probleem, geen vier

Elke eis liet zich steeds tot dezelfde zin terugbrengen. Natuurlijke vertaling: schrijf op wat deze video zegt, in de doeltaal. Natuurlijke audio: houd dezelfde performance vast in de nieuwe woorden. Tekst in beeld: weet waarom hij er staat voordat u eraan komt. Lipsync: bewerk de persoon zonder hem te breken.

Dat is waar het MLDM over beslist, gemeten op dezelfde clips en gepubliceerd op /benchmark. Elke beslissing wordt bij de opdracht vastgelegd en is aan te passen; vandaag kiezen uw creative directors uit de vertalingen.