Was ist ein multimodales Entscheidungsmodell für die Lokalisierung (MLDM)?

FAMILIAR FORSCHUNG2026-10-27AKTUALISIERT 2026-11-01ALLE ARTIKEL

ZUSAMMENFASSUNG

Das erste Foundation Model für multimodale Übersetzung, ein neues Paradigma, das erste seiner Art. MLDM ist ein Modell, das entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg, und Ihnen die Optionen vorlegt, auf die es ankommt. Erst die Übersetzung, dann die Synchronisation in einem Durchgang: Stimme, Lippen und Szene zusammen. Die Entscheidungen passen zueinander, weil ein Modell sie trifft. Die Person bleibt, wer sie ist.

DAS ERSTE FOUNDATION MODEL FÜR MULTIMODALE ÜBERSETZUNGAUDIOVISUELLE ÜBERSETZUNG AUS EINEM GUSS, NICHT KASKADIERT

Was entscheidet MLDM?

TEXT

Welche Fassung eine Zeile in die neue Sprache trägt. Das MLDM wägt mehrere Fassungen ab und wählt die beste: In einem Witz, einer Geschichte oder einer Wendung im Gespräch ändert ein einziges Wort die Absicht und das Gefühl. Dieselben Entscheidungen betreffen die Begriffe, was unübersetzt bleibt, den Slang, wie er gesagt wurde, den Namen und die Marke, eine Anspielung, die gegen eine ersetzt wird, die das Publikum kennt, was die Kultur meidet, und die Kraftausdrücke, die für eine jüngere Fassung abgeschwächt werden.

TON

Was überhaupt übersetzt wird. Das MLDM hört alles in der Spur: das Lachen, die Menge, einen Ruf, einen Sprecher im Hintergrund, den niemand versteht. Es findet die Hauptstimme, trägt sie in der eigenen Stimme des Sprechers in die neue Sprache und lässt den Rest, wie er war.

BILD

Wer es tatsächlich sagt. Ton und Bild werden zusammen entschieden, also weiß das MLDM, wer erzählt, wer aus dem Off spricht und wessen Lippen sich bewegen sollen. Die Lippen folgen in jeder Zeile den neuen Worten; Mimik und Gesten folgen, wenn die Betonung oder die Kultur es verlangt.

DIE OPTIONEN, DIE SIE SEHEN

TEXT

HEUTEWo eine Zeile auf mehr als eine Art ankommen kann, bekommen Ihre Creative Directors die Fassungen samt Begründung und wählen eine. Ein Podcast, eine Folge oder ein Film kann viele solcher Stellen enthalten.

IN ARBEIT

TON

HEUTE

IN ARBEITDie Wahl, was in der Originalsprache bleibt. Ein Sprechchor, ein Schrei oder eine Redewendung kann bleiben, wie sie gesagt wurden, wenn Sie das wollen.

BILD

HEUTE

IN ARBEITEin anderes Gesicht wählen, wenn das Modell den falschen Sprecher gewählt hat, und bestimmen, welcher Text im Bild übersetzt wird. Dieser Text, ein Handydisplay, ein Buchcover, ein Straßenschild, ein Schaufenster, wird in den Begriffen geschrieben, die Sie schon festgelegt haben; das Modell entscheidet von selbst, was so bleibt, wie es gedreht wurde, eine Marke, ein Name, Slang: Eine Tüte Tostitos bleibt Tostitos.

Warum ein einziges Modell?

EINE KETTE VON TOOLS

Spracherkennung, dann Übersetzung, dann eine Stimme, dann Lipsync, jede Stufe für sich abgestimmt.
Diese Kette hat maschinelle Synchronisation erst möglich gemacht.
Jede Stufe rät trotzdem ohne die anderen, also summieren sich die Fehler von Stufe zu Stufe.

EIN FOUNDATION MODEL, DAS ERSTE SEINER ART

MLDM trifft die Entscheidungen gemeinsam.
Die Übersetzung kennt den Mund, zu dem sie passen muss.
Die Stimme kennt die Szene, in der sie steht.
Die Person bleibt, wer sie ist.

Erst die Übersetzung, dann die Synchronisation in einem Durchgang: Stimme, Lippen und Szene kommen zusammen heraus, aus denselben Entscheidungen.

Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert: die erste ihrer Art. Das macht MLDM zum ersten Foundation Model für multimodale Übersetzung: ein Modell, das Worte, Stimme, Lippen und Szene in eine neue Sprache trägt, alles zugleich. Der Weg zur hohen Qualität ist heute assistiv: ein Team aus VFX-Artists und Wochen pro Projekt, jede Sprache ein neues Projekt. Die Tools, die heute in einem Durchgang arbeiten, sind schnell und opfern den Rest. Familiar ist ein Durchgang und die Qualität.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Was unterscheidet Lokalisierung von Übersetzung?

Übersetzung sind die Worte. Lokalisierung ist, was eine Kultur von ihnen braucht.

Die richtigen Begriffe, der Slang, die Namen, wie sie gesagt wurden, eine Anspielung, die gegen eine ersetzt wird, die das Publikum kennt, was diese Kultur meidet, die passende Menge an Kraftausdrücken. MLDM entscheidet all das, und mit der Zeit auch das Bild, wenn es sich ändern muss.

Ist MLDM generative KI?

Nein. IBM definiert sie so:

Generative KI, manchmal auch Gen AI genannt, ist künstliche Intelligenz (KI), die als Antwort auf den Prompt oder die Anfrage eines Nutzers originäre Inhalte wie Text, Bilder, Video, Audio oder Softwarecode erstellen kann.

IBM, What is generative AI?

Das ist ein starkes Werkzeug, um Neues zu schaffen. MLDM hat keinen Prompt, und nichts Neues wird erfunden: Es entscheidet, wie das lokalisiert wird, was schon da ist. Die ganze Position steht in Warum Familiar keine generative KI im klassischen Sinn ist und Übersetzung ist keine Generierung.

Wem gehören die Entscheidungen?

Ihnen. Jede Entscheidung des MLDM wird mit der Synchro festgehalten, im Entscheidungsprotokoll.

HEUTE
Ihre Creative Directors prüfen die Übersetzungsentscheidungen.
Die Fassungen samt Begründung; sie wählen eine, bevor etwas hinausgeht.
HEUTE
Eine Nicht-übersetzen-Liste und ein Satz Kontext reisen mit dem Auftrag.
IN ARBEIT
Die Entscheidungen zu Ton und Bild, in derselben Prüfung.
IN ARBEIT
Entscheidungsgedächtnis.
Eine für einen Creator gemerkte Überschreibung gilt bei der nächsten Synchro zuerst, sodass eine einmal getroffene Wahl auch für die nächste Folge gilt.

Die ganze Geschichte steht in Das Entscheidungsprotokoll: Wie Creative Directors das MLDM steuern; die geplante API in der Dokumentation zu den Entscheidungen.

FRAGEN

Wofür steht MLDM?

MLDM steht für Multimodal Localization Decision Model, auf Deutsch ein multimodales Entscheidungsmodell für die Lokalisierung, ein neues Paradigma und das erste seiner Art: ein Modell, das entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg. Es wählt die Fassung einer Zeile, was im Ton übersetzt wird, wer im Bild spricht und wie Lippen, Mimik und Gesten folgen.

Ist MLDM ein Videomodell?

Nicht im üblichen Sinn. MLDM arbeitet mit Material, das schon existiert, und entscheidet, wie es lokalisiert wird: die Worte, die Stimme, die Lippen und die Mimik. Die Person im Bild bleibt in jeder Sprache genau, wer sie ist.

Erzeugt MLDM neues Filmmaterial?

Nein. Es gibt keinen Prompt, und nichts Neues wird erfunden. MLDM entscheidet, wie das lokalisiert wird, was schon da ist: Schauspieler, Timing und Szene bleiben, während Worte, Tonspur und Lippen sich an die neue Sprache anpassen.

Was entscheidet MLDM im Ton?

Was überhaupt übersetzt wird. Es findet die Hauptstimme und trägt sie in der eigenen Stimme des Sprechers in die neue Sprache. Das Lachen, die Menge, ein Ruf und ein Sprecher im Hintergrund, den niemand versteht, bleiben, wie sie waren.

Verändert MLDM die Mimik?

Wenn die Betonung oder die Kultur es verlangt. Die Lippen folgen in jeder Zeile den neuen Worten; Mimik und Gesten folgen, wenn eine Zeile in der neuen Sprache anders ankommt. Die Person bleibt genau, wer sie ist.

Übersetzt MLDM Text im Bild?

Noch nicht. Der Text im Bild, etwa ein Handydisplay, ein Buchcover, ein Straßenschild oder ein Schaufenster, wird gerade integriert, geschrieben in den Begriffen, die Sie schon festgelegt haben; das Modell entscheidet von selbst, was so bleibt, wie es gedreht wurde, eine Marke, ein Name, Slang: Eine Tüte Tostitos bleibt Tostitos. Heute werden die Worte, die Stimme, die Lippen, die Mimik und die Gesten lokalisiert.

Kann ich eine Entscheidung des Modells ändern?

Ja. Jede Entscheidung wird mit dem Auftrag festgehalten, und Sie können sie überschreiben. Heute wählen Ihre Creative Directors zwischen den Übersetzungsfassungen, jede mit ihrer Begründung, und eine einmal getroffene Wahl gilt auch für die nächste Folge.

Zeigt das Modell seine Entscheidungen auch bei Ton und Bild?

Die Übersetzungsoptionen werden heute gezeigt. Die Optionen im Ton, etwa was in der Originalsprache bleibt, und im Bild, etwa ein anderes Gesicht oder welcher Text im Bild übersetzt wird, sind in Arbeit.

QUELLEN

Multimodale Übersetzung

Familiar Labs entwickelt Synchronisation einer neuen Generation, mit einem multimodalen Entscheidungsmodell für die Lokalisierung (MLDM), dem ersten Foundation Model für multimodale Übersetzung: Ein Modell entscheidet, was über Text, Ton und Bild hinweg lokalisiert wird, und zeigt Ihnen die Optionen. Ihre Stimme und Ihre Lippen, übertragen in neue Sprachen. Ein Team von 8 mit PhDs, unterstützt von Samsung, RedBird und Gold House. Unsere Mission

Zum vollständigen Benchmark →Mit dem Team sprechen