Pionierarbeit in der multimodalen Übersetzung: von der audiovisuellen Forschung zum ersten Foundation Model

01. Wer hat gemeinsame audiovisuelle Menschenmodelle begründet?

Eine Synchro trägt nur, wenn Stimme und Gesicht eine Person bleiben. Familiars Forschende sind promovierte Wissenschaftler, die das Feld der gemeinsamen audiovisuellen Menschenmodelle begründet haben: Ihr Paper JAM-Flow, auf der ECCV 2026, ist das erste gemeinsame audiovisuelle Menschenmodell, das Stimme und Gesicht eines sprechenden Menschen als ein einziges Problem behandelt.

Die Arbeit deckt die Bausteine ab, die multimodale Übersetzung braucht: gemeinsame audiovisuelle Menschenmodelle, schnelle Videomodelle, Bearbeitung und multimodale Wahrnehmung. Jedes Paper und jede Konferenz stehen in unserer Forschungsübersicht. Der Grund ist persönlich: An Zhu Liu, der CEO, konnte als Kind nicht Englisch mit seinen Mitschülern sprechen und lernte es vom Fernsehen, eine Geschichte, die unsere Mission-Seite erzählt.

02. Warum lief Synchronisation über getrennte Tools?

Weil jeder Baustein zuerst für sich gelöst wurde. Maschinelle Synchronisation kam als Kette, und diese Kette hat sie überhaupt erst möglich gemacht. Sie setzte ihr aber auch die Grenze, und die seither gebauten Tools tauschen weiter Qualität gegen Zeit. Die assistiven Tools erreichen die Qualität mit einem Team aus VFX-Artists und Wochen pro Projekt, ein neues Projekt pro Sprache. Die Tools, die in einem Durchgang arbeiten, sind schnell und opfern den Rest: Ihre Lippen versagen bei einer Hand vorm Gesicht, einem Mikrofon, Unschärfe, Bokeh, einer Seitenansicht oder mehreren Personen im Bild, ohne räumliches Denken und ohne Weltverständnis. Familiar ist ein Durchgang und die Qualität.

++

Familiar ist das erste Foundation Model für multimodale Übersetzung: ein Modell, das Worte, Stimme, Lippen und Szene in eine neue Sprache trägt, alles zugleich.

Der Vergleich Schritt für Schritt steht in Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert; die Definition in Das erste Foundation Model für multimodale Übersetzung.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Was heißt hier Pionierarbeit?

Drei Dinge, zum ersten Mal zusammen. Das erste: Ton und Bild werden zugleich in die neue Sprache getragen, von einem Modell, also passen die Entscheidungen zueinander: Die Stimme ist die eigene des Schauspielers, die Lippen folgen den neuen Worten, und Lachen, Menge und Musik bleiben, wo sie waren.

Das zweite ist die Reihenfolge. Erst die Übersetzung, dann die Synchronisation in einem Durchgang: Stimme, Lippen und Szene zusammen. Die Worte stehen fest und sind von Ihren Creative Directors geprüft, bevor irgendetwas gesprochen wird.

Das dritte ist das Protokoll. Jede Entscheidung des MLDM wird mit dem Auftrag festgehalten, und Sie können jede davon überschreiben. Die vollständige Darstellung steht in Das Entscheidungsprotokoll: Wie Creative Directors das MLDM steuern; was MLDM ist, in dem Definitions-Paper.

04. Was entscheidet das Modell, und was wählen Sie?

Ein Forschungsergebnis wird zum Produkt, wenn die Menschen, die es nutzen, die Kontrolle behalten. MLDM für die Fleißarbeit. Die kreativen Entscheidungen bleiben bei Ihnen.

05. Was ist noch in Arbeit?

Pionierarbeit heißt erste Version, nicht letzte. Die Übersetzungsoptionen sind heute offen; der Rest des Protokolls öffnet sich Schritt für Schritt.

1. HEUTE

   Ihre Creative Directors prüfen die Übersetzungsentscheidungen.

   Die Fassungen samt Begründung; eine Nicht-übersetzen-Liste und ein Satz Kontext reisen mit dem Auftrag.
2. IN ARBEIT

   Die Entscheidungen zu Ton und Bild, in derselben Prüfung.

3. IN ARBEIT

   Der Text im Bild.

   Ein Handydisplay, ein Buchcover, ein Straßenschild, geschrieben in den Begriffen, die Sie schon festgelegt haben; eine Marke oder ein Name bleibt, wie gedreht, vom Modell selbst entschieden: Eine Tüte Tostitos bleibt Tostitos.
4. IN ARBEIT

   Live-Synchronisation.

06. Was ändert das für die Menschen vor der Kamera?

Synchronisation von Menschenhand ist für den Großteil der Welt unerreichbar. Selbst Top-Produktionen synchronisieren nur in wenige Sprachen, wegen der Kosten, des Personals und der Zeit, die es braucht; kleinere Produktionen, Shows und Mikrodramen werden meist gar nicht synchronisiert. Ein Foundation Model für multimodale Übersetzung gibt jeder davon dieselbe Performance in einer anderen Sprache: Stimme, Lippen und Mimik des Schauspielers in 30 Sprachen, geliefert in bis zu 4K mit echtem 5.1-Surround- oder Stereo-Mix in 24-Bit-PCM (die Ausgaben).

Die Übersetzung erreicht 100.3% der Qualität professioneller menschlicher Übersetzung, ein Gleichstand; die Studien stehen unter /benchmark. Keine „generative KI“, sondern Übersetzung im Dienst der Kreativen. Von Mensch zu Mensch, mit größerer Reichweite. Was das für einen Katalog bedeutet, steht in dem Paper für Studios und Plattformen.

FRAGEN