Audiovisuele vertaling in één keer, niet in een keten

01. Wat was het tijdperk van de keten in machinale nasynchronisatie?

Machinale nasynchronisatie begon als een keten: vier tools achter elkaar, elk apart gebouwd en afgesteld, die elk hun resultaat doorgaven aan de volgende.

1. 01

   Transcriptie.

   Spraak-naar-tekst schrijft op wat er gezegd is.
2. 02

   Vertaling.

   Een tekstmodel zet het transcript om in de nieuwe taal, zonder de stem te horen of het gezicht te zien.
3. 03

   Een stem.

   Tekst-naar-spraak leest de vertaling voor, vaak in de stem van een vreemde.
4. 04

   Lipsync.

   Een aparte tool beweegt de mond op de nieuwe audio, nadat elk woord al vastligt.

Die keten maakte machinale nasynchronisatie mogelijk. De grens zit in de vorm: elke stap gokt zonder de andere. De vertaling kan niet weten dat de zin in een gesloten mond moet passen. De stem kan niet weten in welke ruimte ze klinkt. Een verkeerd verstaan woord of een zin die te lang uitvalt, wordt doorgegeven, en de fout stapelt zich op bij elke volgende stap.

Elke tool werd in de loop der jaren beter: een schoner transcript, een scherpere vertaling, een natuurlijkere stem. De afgewerkte dub verbeterde langzamer, omdat de naden tussen de tools bleven zitten waar ze zaten.

02. Wat treft een koper vandaag aan?

In de praktijk komt de keten als een stapel tools: een transcript uit de ene, de vertaling uit een andere, een stem uit een derde, lipsync en ondertitels uit een vierde. Eén zin corrigeren betekent elke stap daarna opnieuw draaien, en iemand in uw team houdt de bestanden bij elkaar. De tools die de stapel overslaan, ruilen kwaliteit in tegen tijd. De ondersteunende tools halen de kwaliteit met een team van VFX-artiesten op de lastige shots: weken per project, en elke taal is een nieuw project. De tools die alles in één keer doen, zijn snel en leveren de rest in: de stem lijkt steeds minder op de spreker, de ruimteklank valt weg, en de lippen haperen bij een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht of meerdere mensen in beeld, zonder ruimtelijk redeneren en zonder begrip van de wereld. Familiar doet het in één keer, en met de kwaliteit.

De andere weg is een volledige menselijke dub, vertaling en stem, voor $70–150 per opgeleverde minuut. De kosten, de mankracht en de tijd maken die voor het grootste deel van de wereld onbereikbaar: zelfs topproducties dubben maar een paar talen, en kleinere producties, series en verticale drama's dubben meestal helemaal niet.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Overweegt u ElevenLabs Dubbing, dan staat hier hun documentatie, letterlijk geciteerd, naast onze studie:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Wat verandert er als één model elke beslissing neemt?

Familiar dubt met een multimodaal beslismodel voor lokalisatie (MLDM). MLDM beslist wat er gelokaliseerd wordt en hoe, in tekst, audio en beeld, en de beslissingen kloppen met elkaar omdat één model ze neemt. De definitie staat in Het eerste foundation model voor multimodale vertaling.

Wat u terugkrijgt, is de eigen performance van de acteur in een andere taal: de stem, de lippen, de mimiek en het scènegeluid, samen meegenomen. Eén upload gaat tegelijk naar elke taal: dubs in 30 talen, van beeldmateriaal in een van 99 brontalen.

Samen beslissen verandert ook wat er mis kan gaan. Een zin die te lang zou uitvallen, wordt passend gemaakt voor de tijd en de mond voordat er een stem gemaakt wordt. Een lach midden in een zin blijft een lach. Als twee mensen door elkaar praten, weet het model wie welke zin zegt, dus bewegen de juiste lippen.

04. Wat verandert dat aan de afgewerkte dub?

We sturen dezelfde clips door beide systemen en beoordelen ze op dezelfde manier. Elk cijfer komt uit een eigen studie, gepubliceerd op de benchmark.

Ook de stem is gemeten: Familiar klinkt 27.8% meer als de echte spreker dan ElevenLabs Dubbing v1, in alle 11 talen dichterbij, in de studie die hierboven wordt geciteerd.

De automatische nasynchronisatie van YouTube had in haar eigen studie 232.6% meer fouten in het achtergrondgeluid. De scène blijft overeind omdat het MLDM alles op het spoor hoort, het gelach, het publiek, de muziek, de hoofdstem vindt, die meeneemt naar de nieuwe taal in de eigen stem van de spreker en de rest laat zoals het was.

05. Wat betekent "eerst de vertaling, dan de dub in één keer"?

++

Eerst de vertaling, dan de dub in één keer: de stem, de lippen en de scène samen.

De volgorde telt. Eerst komt de vertaling, en uw creative directors kijken haar na: waar een zin meer dan één kant op kan, zien ze de vertalingen met de onderbouwing bij elk ervan en kiezen er één. Pas daarna wordt de dub gemaakt, één keer. Er wordt niets nieuws verzonnen. Geen “generatieve AI”, maar vertaling die creatieven verder brengt. MLDM voor het monnikenwerk.

Ondertitels worden opgemaakt volgens de conventies van de Timed Text Style Guide van Netflix, de ondertitelstandaard waar de branche mee werkt. Elke dub wordt verwerkt op het eigen achtcijferige cluster van NVIDIA B300 GPU's van Familiar in Toronto, Canada, nooit in een public cloud als Google Cloud of AWS, en nooit door een externe inferentieprovider. De bestanden staan in de documentatie over uitvoer, de verwerking in private inferentie, en wat het betekent voor een catalogus in Wat een foundation model voor multimodale vertaling betekent voor studio's en platforms.

06. Wie heeft het laatste woord?

1. VANDAAG

   Uw creative directors kijken de vertaalbeslissingen na.

   De vertalingen met de onderbouwing bij elk ervan; zij kiezen er één voordat er iets de deur uitgaat.
2. VANDAAG

   Een Niet-vertalen-lijst en een contextregel van één zin gaan mee met de opdracht.

3. IN DE MAAK

   De beslissingen over audio en beeld, in dezelfde review.

   Wat in de oorspronkelijke taal blijft, een ander gezicht als het model de verkeerde spreker koos, en de tekst in beeld.

Wat er voor een catalogus verandert, is het bereik. Een serie die in één taal zou zijn gebleven, kan tegelijk in 30 talen uitkomen, met de eigen performance van de acteurs, terwijl uw team nog steeds elke keuze maakt die ertoe doet.

Dat is het beslissingslogboek; het volledige verhaal staat in Het beslissingslogboek, en waarover het model beslist in Wat is MLDM?. Het onderzoek erachter staat in Pionieren in multimodale vertaling. Van mens tot mens, met een groter bereik.

VRAGEN