Wat is een multimodaal beslismodel voor lokalisatie (MLDM)?

FAMILIAR ONDERZOEK2026-10-27BIJGEWERKT 2026-11-01ALLE ARTIKELEN

SAMENVATTING

Het eerste foundation model voor multimodale vertaling, een nieuw paradigma, het eerste in zijn soort. MLDM is één model dat beslist wat er gelokaliseerd wordt en hoe, in tekst, audio en beeld, en dat u de keuzes laat zien die ertoe doen. Eerst de vertaling, dan de dub in één keer: de stem, de lippen en de scène samen. De beslissingen kloppen met elkaar omdat één model ze neemt. De persoon verandert nooit.

HET EERSTE FOUNDATION MODEL VOOR MULTIMODALE VERTALINGAUDIOVISUELE VERTALING IN ÉÉN KEER, NIET IN EEN KETEN

Waarover beslist MLDM?

TEKST

Welke versie een zin naar de nieuwe taal draagt. Het MLDM weegt meerdere vertalingen af en kiest de beste: in een grap, een verhaal of een wending in een gesprek verandert één woord de bedoeling en de emotie. Dezelfde beslissingen gaan over de termen, wat onvertaald blijft, de straattaal zoals die gezegd is, de naam en het merk die blijven staan, een verwijzing vervangen door een die het publiek kent, wat de cultuur liever vermijdt, en minder grof taalgebruik voor een jongere versie.

AUDIO

Wat er überhaupt vertaald moet worden. Het MLDM hoort alles op het spoor: het gelach, het publiek, een schreeuw, een spreker op de achtergrond die niemand kan verstaan. Het vindt de hoofdstem, neemt die mee naar de nieuwe taal in de eigen stem van de spreker en laat de rest zoals het was.

BEELD

Wie het echt zegt. Over audio en beeld wordt samen beslist, dus het MLDM weet wie er vertelt, wie buiten beeld spreekt en wiens lippen moeten bewegen. De lippen volgen de nieuwe woorden in elke zin; de mimiek en de gebaren volgen als de nadruk of de cultuur erom vraagt.

DE KEUZES DIE U ZIET

TEKST

VANDAAGWaar een zin meer dan één kant op kan, krijgen uw creative directors de vertalingen met de onderbouwing bij elk ervan en kiezen er één. Een podcast, een aflevering of een film kan veel van zulke fragmenten bevatten.

IN DE MAAK

AUDIO

VANDAAG

IN DE MAAKKiezen wat in de oorspronkelijke taal blijft. Een spreekkoor, een kreet of een zin kan blijven zoals die gezegd is, als u dat wilt.

BEELD

VANDAAG

IN DE MAAKEen ander gezicht kiezen als het model de verkeerde spreker koos, en kiezen welke tekst in beeld vertaald wordt. Die tekst, een telefoonscherm, een boekomslag, een straatnaambord, een winkelgevel, wordt geschreven in de termen die u al hebt gekozen; het model beslist ter plekke wat blijft zoals het gefilmd is, een merk, een naam, straattaal: een zak Tostitos blijft Tostitos.

Waarom één model?

EEN KETEN VAN TOOLS

Spraak-naar-tekst, dan vertaling, dan een stem, dan lipsync, elke stap apart afgesteld.
Die keten maakte machinale nasynchronisatie mogelijk.
Elke stap gokt nog steeds zonder de andere, dus de fouten stapelen zich van stap tot stap op.

ÉÉN FOUNDATION MODEL, HET EERSTE IN ZIJN SOORT

MLDM neemt de beslissingen samen.
De vertaling kent de mond waar ze in moet passen.
De stem kent de scène waarin ze klinkt.
De persoon verandert nooit.

Eerst de vertaling, dan de dub in één keer: de stem, de lippen en de scène komen samen tot stand, uit dezelfde beslissingen.

Audiovisuele vertaling in één keer, niet in een keten: de eerste in haar soort. Daardoor is MLDM het eerste foundation model voor multimodale vertaling: één model dat de woorden, de stem, de lippen en de scène tegelijk naar een nieuwe taal brengt. De route naar hoge kwaliteit is vandaag ondersteunend: een team van VFX-artiesten en weken per project, en elke taal is een nieuw project. De tools die nu alles in één keer doen, zijn snel en leveren de rest in. Familiar doet het in één keer, en met de kwaliteit.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Wat is het verschil tussen lokalisatie en vertaling?

Vertaling gaat over de woorden. Lokalisatie gaat over wat een cultuur van die woorden nodig heeft.

De juiste termen, de straattaal, de namen die blijven zoals ze gezegd zijn, een verwijzing vervangen door een die het publiek kent, wat die cultuur vermijdt, het niveau van grof taalgebruik dat past. MLDM beslist over dat alles, en na verloop van tijd ook over het beeld, als dat moet veranderen.

Is MLDM generatieve AI?

Nee. IBM omschrijft het zo:

Generatieve AI, soms gen AI genoemd, is kunstmatige intelligentie (AI) die originele content kan maken, zoals tekst, afbeeldingen, video, audio of softwarecode, als antwoord op een prompt of verzoek van een gebruiker.

IBM, What is generative AI?

Dat is een sterke tool om nieuwe dingen te maken. MLDM heeft geen prompt, en er wordt niets nieuws verzonnen: het beslist hoe je lokaliseert wat er al is. Het volledige standpunt staat in Waarom Familiar geen generatieve AI in de traditionele zin is en Vertalen is niet genereren.

Wiens beslissingen zijn het?

De uwe. Elke beslissing die het MLDM neemt, wordt bij de dub vastgelegd, in het beslissingslogboek.

VANDAAG
Uw creative directors kijken de vertaalbeslissingen na.
De vertalingen met de onderbouwing bij elk ervan; zij kiezen er één voordat er iets de deur uitgaat.
VANDAAG
Een Niet-vertalen-lijst en een contextregel van één zin gaan mee met de opdracht.
IN DE MAAK
De beslissingen over audio en beeld, in dezelfde review.
IN DE MAAK
Een geheugen voor beslissingen.
Een aanpassing die voor een creator is onthouden, geldt als eerste bij de volgende dub, dus een keuze die u één keer maakt, gaat mee naar de volgende aflevering.

Het volledige verhaal staat in Het beslissingslogboek; de geplande API staat in de documentatie over beslissingen.

VRAGEN

Waar staat MLDM voor?

MLDM staat voor multimodaal beslismodel voor lokalisatie (Multimodal Localization Decision Model), een nieuw paradigma en het eerste in zijn soort: één model dat beslist wat er gelokaliseerd wordt en hoe, in tekst, audio en beeld. Het kiest de versie van een zin, wat er in de audio vertaald wordt, wie er in beeld spreekt, en hoe de lippen, de mimiek en de gebaren volgen.

Is MLDM een videomodel?

Niet in de gebruikelijke zin. MLDM werkt met beeldmateriaal dat al bestaat en beslist hoe het gelokaliseerd wordt: de woorden, de stem, de lippen en de mimiek. De persoon in beeld blijft precies wie hij is, in elke taal.

Maakt MLDM nieuw beeldmateriaal?

Nee. Er is geen prompt en er wordt niets nieuws verzonnen. MLDM beslist hoe je lokaliseert wat er al is: de acteur, de timing en de scène blijven, terwijl de woorden, het stemspoor en de lippen veranderen om bij de nieuwe taal te passen.

Waarover beslist MLDM in de audio?

Over wat er überhaupt vertaald moet worden. Het vindt de hoofdstem en neemt die mee naar de nieuwe taal in de eigen stem van de spreker. Het gelach, het publiek, een schreeuw en een spreker op de achtergrond die niemand kan verstaan, blijven zoals ze waren.

Verandert MLDM de mimiek?

Als de nadruk of de cultuur erom vraagt. De lippen volgen de nieuwe woorden in elke zin; de mimiek en de gebaren volgen als een zin in de nieuwe taal anders aankomt. De persoon blijft precies wie hij is.

Vertaalt MLDM tekst in beeld?

Nog niet. De tekst in beeld, zoals een telefoonscherm, een boekomslag, een straatnaambord of een winkelgevel, wordt nu ingebouwd, geschreven in de termen die u al hebt gekozen; het model beslist ter plekke wat blijft zoals het gefilmd is, een merk, een naam, straattaal: een zak Tostitos blijft Tostitos. Vandaag worden de woorden, de stem, de lippen, de mimiek en de gebaren gelokaliseerd.

Kan ik een beslissing van het model wijzigen?

Ja. Elke beslissing wordt bij de opdracht vastgelegd en u kunt die aanpassen. Vandaag kiezen uw creative directors uit de vertalingen, elk met de onderbouwing, en een keuze die u één keer maakt, gaat mee naar de volgende aflevering.

Laat het model zijn keuzes in audio en beeld zien?

De vertaalkeuzes zijn vandaag zichtbaar. De keuzes in de audio, zoals wat in de oorspronkelijke taal blijft, en de keuzes in beeld, zoals een ander gezicht kiezen of welke tekst in beeld vertaald wordt, zijn in de maak.

BRONNEN

Multimodale vertaling

Familiar Labs zet met een multimodaal beslismodel voor lokalisatie (MLDM) een generatiesprong in nasynchronisatie. Het eerste foundation model voor multimodale vertaling: één model beslist wat er gelokaliseerd wordt in tekst, audio en beeld, en laat je de keuzes zien. Jouw stem en lippen, meegenomen naar nieuwe talen. Een team van 8 met PhD's, gesteund door Samsung, RedBird en Gold House. Onze missie

Bekijk de volledige benchmark →Praat met het team