BEGRIP UITGELEGD

Ondersteunende visuele AI-nasynchronisatie vs volledige AI-nasynchronisatie: zo worden titels gelokaliseerd (2026)

FAMILIAR ONDERZOEKBIJGEWERKT ALLE ARTIKELEN

SAMENVATTING

"Localize titles with assistive AI visual dubbing" is hoe Flawless TrueSync omschrijft. Het woord dat telt is assistive, ondersteunend: de AI doet één stap, de mond in beeld afstemmen op de nieuwe dialoog, en mensen doen de rest. Zij vertalen, casten en nemen per acteur per taal een stem op, markeren welk gezicht elke zin uitspreekt en beoordelen elk shot. De ondersteunende tools die de branche nu gebruikt, vragen een team van VFX-artiesten en weken per project, en elke taal is een nieuw project. Volledige AI-nasynchronisatie lokaliseert een titel in één keer: de afgeronde titel gaat erin, en eruit komen de vertaling, de eigen stem van elke acteur, het scènegeluid en het gezicht.

Wat ondersteunend betekent, volgens de eigen pagina van de leverancier

Flawless beschrijft TrueSync in vier stappen, geciteerd van zijn lokalisatiepagina:

MASTER ERIN. "Lever uw master en de nagesynchroniseerde audio in uw doeltaal aan." ELKE PERFORMANCE VUBBEN. "TrueSync synchroniseert elke performance in beeld met de nieuwe dialoog." BEOORDELING IN 8K. "QC volgens uw normen in lossless kleur, klaar voor de bioscoop." GELEVERD VIA PARTNERS. "De eindlevering loopt via Pixelogic, Deluxe en anderen."
FLAWLESS · LOCALIZE TITLES WITH ASSISTIVE AI VISUAL DUBBING

Twee andere zinnen op dezelfde pagina trekken de grens. TrueSync is "audio-agnostisch": het accepteert nagesynchroniseerde audio uit elke bron en "genereert, wijzigt of synthetiseert geen audio". En het "genereert, vervangt of synthetiseert geen gezichten": het past de gezichtsanimatie van de oorspronkelijke performance aan de nieuwe woorden aan. Visuele nasynchronisatie, of vubbing, is die ene aanpassing.

Het menselijke werk in een ondersteunende pipeline

Per titel, per taal, vóór en na de AI-stap:

  1. 01

    Het script vertalen en bewerken,

    met de timing van elke zin in het achterhoofd.
  2. 02

    Per acteur in beeld een stemacteur casten en opnemen,

    elk op een schone track, omdat de synchronisatie één stem per gezicht nodig heeft. Twee mensen die door elkaar praten op één gemixte track moeten eerst worden gescheiden.
  3. 03

    Markeren welk gezicht elke zin uitspreekt

    in elk shot, zodat de synchronisatie op de juiste mond landt.
  4. 04

    De synchronisatie draaien,

    de AI-stap.
  5. 05

    Shot voor shot beoordelen in 8K

    volgens de normen van de productie.
  6. 06

    Conformeren en opleveren

    via een lokalisatiehuis.

Vijf van de zes stappen zijn mensenwerk, en de twee duurste, de dub casten en opnemen, zijn precies waar een conventionele dub al voor betaalt. Een volledige menselijke dub, vertaling plus stem, kost $70–150 per opgeleverde minuut; daarom dubben zelfs topproducties maar een paar talen, en de ondersteunende stap komt daar nog bovenop. Het is bovendien een stap binnen de productie: hij heeft de dialoog per acteur nodig en de mensen die de titel hebben gemaakt.

Een afgeronde titel in een bibliotheek, jaren nadat de mix is vastgelegd, heeft geen van beide.

Wat het volledige werk in plaats daarvan doet

De tools die nu alles in één keer doen zijn snel en leveren de rest in: de vertaling is niet te bewerken, de muziek en de ruimteklank vallen weg, de stem lijkt steeds minder op de spreker, en de lippen haperen bij een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht of meerdere mensen in beeld, zonder ruimtelijk redeneren en zonder begrip van de wereld. Volledige AI-nasynchronisatie doet het in één keer, en met de kwaliteit. Ze begint bij de afgeronde titel, gemixte track en al; het multimodale beslismodel voor lokalisatie (MLDM) van Familiar, het eerste foundation model voor multimodale vertaling, een nieuw paradigma en het eerste in zijn soort, beslist over de rest:

HET EERSTE FOUNDATION MODEL VOOR MULTIMODALE VERTALING
SCÈNEGELUID
VOLLEDIGE AI-NASYNCHRONISATIEBehoudt het scènegeluid onder de nieuwe dialoog: de muziek, het publiek, het gelach.
VERTALING
VOLLEDIGE AI-NASYNCHRONISATIEVertaalt, met meerdere vertalingen van een grap of een beladen zin waaruit uw reviewer per taal kiest voordat er iets rendert.
STEM
VOLLEDIGE AI-NASYNCHRONISATIESpreekt in de eigen stem van de acteur, gekloond naar de nieuwe taal; op dezelfde clips mat Familiar 27.8% meer gelijkenis met de echte spreker dan ElevenLabs Dubbing v1.
GEZICHT
VOLLEDIGE AI-NASYNCHRONISATIEVolgt het gezicht: mond, kaak, ogen, wenkbrauwen, wangen en hoofd van wie er spreekt, met meerdere mensen in beeld en handen of microfoons voor de mond; een ander gezicht kiezen voor een zin is in de maak.
TALEN
VOLLEDIGE AI-NASYNCHRONISATIERendert elke taal tegelijk, 30 uitvoertalen uit beeldmateriaal in elk van 99 brontalen.
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Volledige AI-nasynchronisatie levert wat de postproductie verwacht:

BEELD

Tot 4K

Vandaag.

MIX

5.1 of stereo

De volledige mix als echte 5.1-surround of stereo.

MASTERS

ProRes of mp4

ProRes-masters bij Studio-leveringen of mp4 via de API.

DIALOOG

Alleen dialoog

Het dialoogspoor apart.

ONDERTITELS

srt en vtt

Uit het nagekeken transcript, afgestemd op de conventies van de Timed Text Style Guide van Netflix.

METADATA

Titel en beschrijving

Vertaald.

Voor wie elk gebouwd is

ONDERSTEUNENDE VISUELE NASYNCHRONISATIE

  • De grote bioscooptitel, met akkoord van de regisseur op elk frame en een 8K-master.
  • Een titel die al een menselijke dub heeft waar de studio blij mee is en waar de gezichten naartoe moeten.
  • Het bewijs komt van Flawless zelf: Watch the Skies, van het Zweeds naar het Engels, de eerste visueel gedubde film in de bioscoop.
  • Een planning van weken per project met een team van VFX-artiesten, en elke taal een nieuw project.

VOLLEDIGE AI-NASYNCHRONISATIE

  • De catalogus, achteraf: een streamingplatform, een distributeur of een omroep met duizenden afgeronde titels en geen productieteam paraat.
  • Alles wat een echt mens voor een publiek zet: series en microdrama's, onderwijs, advertenties, bedrijfsvideo, uitzendingen, creatorkanalen.
  • Elke taal tegelijk, bij upload, elke taal vastgehouden voor de reviewer en vrijgegeven zodra die rond is.
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

De winst waar beide op jagen

Flawless publiceert drie kijkcijfers voor visueel gedubde titels, tegenover zijn eigen vergelijkingen:

23×

Meer gestreamde minuten dan de dub met alleen audio van dezelfde titel (Vincent Must Die, van het Frans naar het Engels). Een cijfer van Flawless.

9×

Meer unieke streams per visueel gedubde titel. Een cijfer van Flawless.

+260%

Hogere kijkvoltooiing dan standaarddubs. Een cijfer van Flawless.

De eigen gepaarde metingen van Familiar, tegenover ElevenLabs, de automatische nasynchronisatie van YouTube en menselijke vertalers: het overzicht van de benchmarks.

VRAGEN

Wat is ondersteunende visuele AI-nasynchronisatie?

Een workflow waarin mensen de dub maken (vertaling, casting, per acteur per taal een stem opnemen) en een AI-model de gezichten in beeld afstemt op de nieuwe dialoog, gevolgd door een menselijke beoordeling shot voor shot. Flawless TrueSync omschrijft zichzelf zo.

Wat is vubbing?

Visuele nasynchronisatie: de gezichtsvertolking van de oorspronkelijke acteurs in beeld synchroniseren met dialoog in een nieuwe taal, zonder gezichten te genereren of te vervangen.

Zit de stem bij ondersteunende visuele nasynchronisatie inbegrepen?

Nee. TrueSync is audio-agnostisch en genereert, wijzigt of synthetiseert geen audio, naar eigen zeggen. Het gedubde stemspoor komt van uw stemacteurs of uit een andere bron.

Kan een distributeur het gebruiken zonder de oorspronkelijke productie?

Het werkt het best met de productie erbij: de normen van de regisseur bepalen de QC, per rol worden stemacteurs gecast en de beoordeling gaat shot voor shot. Een distributeur met alleen de master en de rechten moet dat team per titel samenstellen. Volledige AI-nasynchronisatie heeft de master nodig.

Kan het achteraf, op een afgeronde titel?

Ondersteunende visuele nasynchronisatie wordt in de productie ingepland: ze vraagt een per taal opgenomen dub en de mensen van de productie voor het markeren en beoordelen. Volledige AI-nasynchronisatie begint bij de afgeronde titel zoals die is uitgebracht, zodat een oude catalogus jaren na het vastleggen van de mix nog te dubben is.

Wat is het verschil tussen visuele nasynchronisatie en volledige AI-nasynchronisatie?

Visuele nasynchronisatie stemt de mond af op een dub die u al hebt gemaakt. Volledige AI-nasynchronisatie maakt de dub: vertaling, de eigen stem van de acteur, het scènegeluid en het gezicht, vanuit de afgeronde titel, in één render.

Levert volledige AI-nasynchronisatie 8K?

Familiar rendert vandaag tot 4K, geleverd als ProRes-masters bij Studio-leveringen of als mp4 via de API, met een echte 5.1-surround- of stereomix. TrueSync beoordeelt en levert in 8K.

BRONNEN

  1. [1]Netflix, Timed Text Style Guide: Subtitle Templates, gelezen op 30 oktober 2026
  2. [2]Flawless, Localize Titles with Assistive AI Visual Dubbing (TrueSync), gelezen op 18 september 2026
  3. [3]Familiar vs Flawless TrueSync: volledige AI-nasynchronisatie vs ondersteunende visuele nasynchronisatie
  4. [4]AI-lipsync: wat het is, wat het mist en wat het verslaat
  5. [5]Familiar vs ElevenLabs Dubbing: de twee gepaarde studies
  6. [6]Wat kost nasynchronisatie in 2026?

Multimodale vertaling

Familiar Labs zet met een multimodaal beslismodel voor lokalisatie (MLDM) een generatiesprong in nasynchronisatie. Het eerste foundation model voor multimodale vertaling: één model beslist wat er gelokaliseerd wordt in tekst, audio en beeld, en laat je de keuzes zien. Jouw stem en lippen, meegenomen naar nieuwe talen. Een team van 8 met PhD's, gesteund door Samsung, RedBird en Gold House. Onze missie