Das erste Foundation Model für multimodale Übersetzung

01. Was ist ein Foundation Model für multimodale Übersetzung?

Ein Video sagt mehr als seine Worte. Die Stimme des Sprechers, die Bewegung seines Mundes, das Lachen im Raum und die Musik unter einer Szene tragen alle Bedeutung. Ein Video gut zu übersetzen heißt, all das mitzunehmen und stimmig zu halten: Die Zeile muss zum Mund passen, die Stimme muss in der Szene sitzen, und die Person im Bild muss genau bleiben, wer sie ist.

Ein Foundation Model für multimodale Übersetzung ist ein Modell, das diese ganze Aufgabe übernimmt. Es nimmt das Material als Ganzes und entscheidet, wie jeder Teil in der neuen Sprache ankommen soll. Familiar hat das erste gebaut und nennt es MLDM.

02. Warum lief Synchronisation bisher über getrennte Tools?

Synchronisation von Menschenhand war für den Großteil der Welt schon immer unerreichbar. Selbst Top-Produktionen synchronisieren wegen der Kosten, des Personals und der Zeit nur in wenige Sprachen; kleinere Produktionen, Shows und Mikrodramen werden gar nicht synchronisiert. Eine komplette Synchronisation von Menschenhand, Übersetzung plus Stimme, kostet $70 bis $150 pro fertiger Minute.

03. Was ändert sich, wenn ein Modell alles zugleich trägt?

++

Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert: die erste ihrer Art.

Die Performance desselben Schauspielers kommt an: seine eigene Stimme, seine Lippen, die sich zu den neuen Worten bewegen, seine Mimik und der Ton der Szene um ihn herum. Das Lachen, die Menge und die Musik bleiben, wie sie waren. Auf denselben Clips hatte YouTube 232.6% mehr Fehler bei den Hintergrundgeräuschen als Familiar. Allein am Text gemessen erreicht die Übersetzung die professionelle Erstübersetzung: 100.3% ihrer Qualität. Alle Zahlen stehen im Benchmark.

Es ändert auch die Arbeit rund um eine Synchro. Der Weg zur hohen Qualität ist heute assistiv: Ein Team aus VFX-Artists arbeitet wochenlang Einstellung für Einstellung, und jede Sprache ist ein neues Projekt. Die Tools, die heute in einem Durchgang arbeiten, sind schnell und opfern den Rest: Die Übersetzung lässt sich nicht bearbeiten, Musik und Raumklang fallen weg, und die Lippen versagen bei ganz gewöhnlichen Einstellungen, einer Hand vorm Gesicht, einem Mikrofon, Unschärfe, Bokeh, einer Seitenansicht, mehreren Personen im Bild. Kein räumliches Denken, kein Weltverständnis. Familiar ist ein Durchgang und die Qualität: Ein Upload trägt ein Video in jede gewählte Sprache, alle zugleich, und die Entscheidungen passen zueinander, weil ein Modell sie trifft, also muss nichts von Hand wieder zusammengesetzt werden.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Was entscheidet MLDM, und was wählen Sie?

Das multimodale Entscheidungsmodell für die Lokalisierung ist das Modell selbst. MLDM entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg. Die vollständige Definition steht in Was ist ein multimodales Entscheidungsmodell für die Lokalisierung (MLDM)?

1. HEUTE

   Die Übersetzungsentscheidungen, geprüft von Ihren Creative Directors.

   Jede Entscheidung wird mit dem Auftrag festgehalten. Sie können jede davon überschreiben.
2. IN ARBEIT

   Die Entscheidungen zu Ton und Bild, in derselben Prüfung.

3. IN ARBEIT

   Der Text im Bild und die Live-Synchronisation.

   Ein Handydisplay oder ein Straßenschild, geschrieben in den Begriffen, die Sie schon festgelegt haben; eine Marke oder ein Name bleibt, wie gedreht, vom Modell selbst entschieden: Eine Tüte Tostitos bleibt Tostitos.

Das Protokoll dieser Entscheidungen steht in Das Entscheidungsprotokoll: Wie Creative Directors das MLDM steuern.

05. Was hat ein Studio von einem Foundation Model?

MLDM für die Fleißarbeit. Die kreativen Entscheidungen bleiben bei den Menschen, die das Werk gemacht haben; das Modell trägt den Rest in jede Sprache zugleich.

Jede Synchro wird auf diesem Cluster verarbeitet, nie bei einem fremden Inferenzanbieter, damit Ihre Medien nie nach außen gelangen. Details stehen in der Dokumentation zur privaten Inferenz und der Dokumentation zu den Ausgaben. Dahinter stehen promovierte Forschende, die das Feld der gemeinsamen audiovisuellen Menschenmodelle begründet haben: 22 Paper, über 10.000 Zitationen, mit Prof. Xu Zheng und Prof. Youngjung Uh als Beratern, unterstützt von Samsung, RedBird und Gold House. Die Paper stehen in unserer Forschung.

06. Ist ein Foundation Model für Übersetzung generative KI?

Nicht im klassischen Sinn. IBM definiert generative KI so:

Das ist ein starkes Werkzeug, um Neues zu schaffen. MLDM hat keinen Prompt, und nichts Neues wird erfunden: Es trägt, was schon da ist, in eine andere Sprache. Keine „generative KI“, sondern Übersetzung im Dienst der Kreativen. Von Mensch zu Mensch, mit größerer Reichweite.

Die anderen Paper dieser Reihe: Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert, Was ein Foundation Model für multimodale Übersetzung für Studios und Plattformen bedeutet und Pionierarbeit in der multimodalen Übersetzung.

FRAGEN