Pionieren in multimodale vertaling: van audiovisueel onderzoek naar het eerste foundation model

01. Wie stond aan de wieg van audiovisuele modellen van mensen?

Een dub houdt alleen stand als de stem en het gezicht één persoon blijven. De onderzoekers van Familiar zijn PhD's die aan de wieg stonden van het vakgebied van audiovisuele modellen van mensen: hun paper JAM-Flow, op ECCV 2026, is het eerste model dat audio en beeld van een mens samen behandelt, de stem en het gezicht van iemand die praat als één probleem.

Het werk dekt de onderdelen die multimodale vertaling nodig heeft: audiovisuele modellen van mensen, snelle videomodellen, bewerking en multimodale waarneming. Elke paper en elk congres staat in ons onderzoeksoverzicht. De reden is persoonlijk: An Zhu Liu, de CEO, kon als kind geen Engels praten met zijn klasgenoten en leerde het van de televisie, een verhaal dat op onze missiepagina staat.

02. Waarom liep nasynchronisatie via losse tools?

Omdat elk onderdeel eerst apart werd opgelost. Machinale nasynchronisatie kwam als een keten, en die keten maakte haar überhaupt mogelijk. Ze bepaalde ook de grens, en de tools die sindsdien zijn gebouwd, ruilen nog steeds kwaliteit in tegen tijd. De ondersteunende tools halen de kwaliteit met een team van VFX-artiesten en weken per project, een nieuw project per taal. De tools die alles in één keer doen, zijn snel en leveren de rest in: hun lippen haperen bij een hand voor het gezicht, een microfoon, onscherpte, bokeh, een zijaanzicht of meerdere mensen in beeld, zonder ruimtelijk redeneren en zonder begrip van de wereld. Familiar doet het in één keer, en met de kwaliteit.

++

Familiar is het eerste foundation model voor multimodale vertaling: één model dat de woorden, de stem, de lippen en de scène tegelijk naar een nieuwe taal brengt.

Het contrast stap voor stap staat in Audiovisuele vertaling in één keer, niet in een keten; de definitie staat in Het eerste foundation model voor multimodale vertaling.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Wat betekent pionieren hier?

Drie dingen, voor het eerst samen. Het eerste is dat audio en beeld tegelijk naar de nieuwe taal gaan, door één model, zodat de beslissingen met elkaar kloppen: de stem is die van de acteur zelf, de lippen volgen de nieuwe woorden, en het gelach, het publiek en de muziek blijven waar ze waren.

Het tweede is de volgorde. Eerst de vertaling, dan de dub in één keer: de stem, de lippen en de scène samen. De woorden liggen vast, en zijn nagekeken door uw creative directors, voordat er iets wordt ingesproken.

Het derde is het logboek. Elke beslissing die het MLDM neemt, wordt bij de opdracht vastgelegd en u kunt alles zelf aanpassen. Het volledige verslag staat in Het beslissingslogboek; wat MLDM is, in de paper met de definitie.

04. Waarover beslist het model, en wat kiest u zelf?

Een onderzoeksresultaat wordt een product als de mensen die ermee werken de regie houden. MLDM voor het monnikenwerk. De creatieve keuzes blijven bij u.

05. Wat is er nog in de maak?

Pionieren betekent de eerste versie, niet de laatste. De vertaalkeuzes liggen vandaag open; de rest van het logboek gaat stap voor stap open.

1. VANDAAG

   Uw creative directors kijken de vertaalbeslissingen na.

   De vertalingen met de onderbouwing bij elk ervan; een Niet-vertalen-lijst en een contextregel van één zin gaan mee met de opdracht.
2. IN DE MAAK

   De beslissingen over audio en beeld, in dezelfde review.

3. IN DE MAAK

   De tekst in beeld.

   Een telefoonscherm, een boekomslag, een straatnaambord, geschreven in de termen die u al hebt gekozen; een merk of een naam blijft zoals gefilmd, ter plekke beslist: een zak Tostitos blijft Tostitos.
4. IN DE MAAK

   Live nasynchronisatie.

06. Wat verandert het voor de mensen in beeld?

Menselijke nasynchronisatie is voor het grootste deel van de wereld onbereikbaar. Zelfs topproducties dubben maar een paar talen, vanwege de kosten, de mensen en de tijd die het kost; kleinere producties, series en verticale drama's dubben meestal helemaal niet. Een foundation model voor multimodale vertaling geeft elk van hen dezelfde performance in een andere taal: de stem, de lippen en de mimiek van de acteur in 30 talen, geleverd tot 4K met een echte 5.1-surround- of stereomix in 24-bits PCM (de uitvoer).

De vertaling scoort 100.3% van de kwaliteit van menselijke vertaling door experts: gelijkwaardig; de studies staan op /benchmark. Geen “generatieve AI”, maar vertaling die creatieven verder brengt. Van mens tot mens, met een groter bereik. Wat het betekent voor een catalogus, staat in de paper voor studio's en platforms.

VRAGEN