ZUSAMMENFASSUNG
Was entscheidet MLFM?
DIE OPTIONEN, DIE SIE SEHEN
Warum ein einziges Modell?
EINE KETTE VON TOOLS
- Spracherkennung, dann Übersetzung, dann eine Stimme, dann Lipsync, jede Stufe für sich abgestimmt.
- Diese Kette hat maschinelle Synchronisation erst möglich gemacht.
- Jede Stufe rät trotzdem ohne die anderen, also summieren sich die Fehler von Stufe zu Stufe.
EIN FOUNDATION MODEL, DAS ERSTE SEINER ART
- MLFM trifft die Entscheidungen gemeinsam.
- Die Übersetzung kennt den Mund, zu dem sie passen muss.
- Die Stimme kennt die Szene, in der sie steht.
- Die Person bleibt, wer sie ist.
Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert: die erste ihrer Art. Das macht MLFM zum ersten Foundation Model für multimodale Übersetzung: ein Modell, das Worte, Stimme, Lippen und Szene in eine neue Sprache trägt, alles zugleich. Der Weg zur hohen Qualität ist heute assistiv: ein Team aus VFX-Artists und Wochen pro Projekt, jede Sprache ein neues Projekt. Die Tools, die heute in einem Durchgang arbeiten, sind schnell und opfern den Rest. Familiar Labs ist ein Durchgang und die Qualität.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR LABS CLOSER TO THE REAL SPEAKER
Was unterscheidet Lokalisierung von Übersetzung?
Übersetzung sind die Worte. Lokalisierung ist, was eine Kultur von ihnen braucht.
Ist MLFM generative KI?
Nein. IBM definiert sie so:
Generative KI, manchmal auch Gen AI genannt, ist künstliche Intelligenz (KI), die als Antwort auf den Prompt oder die Anfrage eines Nutzers originäre Inhalte wie Text, Bilder, Video, Audio oder Softwarecode erstellen kann.
Das ist ein starkes Werkzeug, um Neues zu schaffen. MLFM hat keinen Prompt, und nichts Neues wird erfunden: Es entscheidet, wie das lokalisiert wird, was schon da ist. Die ganze Position steht in Warum Familiar Labs keine generative KI im klassischen Sinn ist und Übersetzung ist keine Generierung.
Wem gehören die Entscheidungen?
Ihnen. Jede Entscheidung des MLFM wird mit der Synchro festgehalten, im Entscheidungsprotokoll.
- HEUTE
Ihre Creative Directors prüfen die Übersetzungsentscheidungen.
Die Fassungen samt Begründung; sie wählen eine, bevor etwas hinausgeht. - HEUTE
Eine Nicht-übersetzen-Liste und ein Satz Kontext reisen mit dem Auftrag.
- IN ARBEIT
Die Entscheidungen zu Ton und Bild, in derselben Prüfung.
- IN ARBEIT
Entscheidungsgedächtnis.
Eine für einen Creator gemerkte Überschreibung gilt bei der nächsten Synchro zuerst, sodass eine einmal getroffene Wahl auch für die nächste Folge gilt.
Die ganze Geschichte steht in Das Entscheidungsprotokoll: Wie Creative Directors das MLFM steuern; die geplante API in der Dokumentation zu den Entscheidungen.
FRAGEN
Wofür steht MLFM?
MLFM steht für Multimodal Localization Foundation Model, auf Deutsch ein multimodales Foundation Model für die Lokalisierung, ein neues Paradigma und das erste seiner Art: ein Modell, das entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg. Es wählt die Fassung einer Zeile, was im Ton übersetzt wird, wer im Bild spricht und wie Lippen, Mimik und Gesten folgen.
Ist MLFM ein Videomodell?
Nicht im üblichen Sinn. MLFM arbeitet mit Material, das schon existiert, und entscheidet, wie es lokalisiert wird: die Worte, die Stimme, die Lippen und die Mimik. Die Person im Bild bleibt in jeder Sprache genau, wer sie ist.
Erzeugt MLFM neues Filmmaterial?
Nein. Es gibt keinen Prompt, und nichts Neues wird erfunden. MLFM entscheidet, wie das lokalisiert wird, was schon da ist: Schauspieler, Timing und Szene bleiben, während Worte, Tonspur und Lippen sich an die neue Sprache anpassen.
Was entscheidet MLFM im Ton?
Was überhaupt übersetzt wird. Es findet die Hauptstimme und trägt sie in der eigenen Stimme des Sprechers in die neue Sprache. Das Lachen, die Menge, ein Ruf und ein Sprecher im Hintergrund, den niemand versteht, bleiben, wie sie waren.
Verändert MLFM die Mimik?
Wenn die Betonung oder die Kultur es verlangt. Die Lippen folgen in jeder Zeile den neuen Worten; Mimik und Gesten folgen, wenn eine Zeile in der neuen Sprache anders ankommt. Die Person bleibt genau, wer sie ist.
Übersetzt MLFM Text im Bild?
Noch nicht. Der Text im Bild, etwa ein Handydisplay, ein Buchcover, ein Straßenschild oder ein Schaufenster, wird gerade integriert, geschrieben in den Begriffen, die Sie schon festgelegt haben; das Modell entscheidet von selbst, was so bleibt, wie es gedreht wurde, eine Marke, ein Name, Slang: Eine Tüte Tostitos bleibt Tostitos. Heute werden die Worte, die Stimme, die Lippen, die Mimik und die Gesten lokalisiert.
Kann ich eine Entscheidung des Modells ändern?
Ja. Jede Entscheidung wird mit dem Auftrag festgehalten, und Sie können sie überschreiben. Heute wählen Ihre Creative Directors zwischen den Übersetzungsfassungen, jede mit ihrer Begründung, und eine einmal getroffene Wahl gilt auch für die nächste Folge.
Zeigt das Modell seine Entscheidungen auch bei Ton und Bild?
Die Übersetzungsoptionen werden heute gezeigt. Die Optionen im Ton, etwa was in der Originalsprache bleibt, und im Bild, etwa ein anderes Gesicht oder welcher Text im Bild übersetzt wird, sind in Arbeit.
QUELLEN
Multimodale Übersetzung
Familiar Labs entwickelt Synchronisation einer neuen Generation, mit einem multimodalen Foundation Model für die Lokalisierung (MLFM), dem ersten Foundation Model für multimodale Übersetzung: Ein Modell entscheidet, was über Text, Ton und Bild hinweg lokalisiert wird, und zeigt Ihnen die Optionen. Ihre Stimme und Ihre Lippen, übertragen in neue Sprachen. Ein Team von 7 mit PhDs, unterstützt von Samsung, RedBird und Gold House. Unsere Mission