Was ein Foundation Model für multimodale Übersetzung für Studios und Plattformen bedeutet

01. Was ändert ein Foundation Model an der Synchronisation?

Maschinelle Synchronisation war früher eine Kaskade getrennter Tools: Transkription, dann Übersetzung, dann eine Stimme, dann Lipsync. Jede Stufe riet ohne die anderen, und die Fehler wanderten von Stufe zu Stufe weiter. Was ein Käufer heute vorfindet, tauscht Qualität gegen Zeit. Die assistiven Tools erreichen die Qualität mit einem Team aus VFX-Artists: Wochen pro Projekt, und jede Sprache ist ein neues Projekt. Die Tools, die in einem Durchgang arbeiten, sind schnell und opfern den Rest: Die Übersetzung lässt sich nicht bearbeiten, die Stimme driftet ab, Musik und Raumklang fallen weg, und die Lippen versagen bei einer Hand vorm Gesicht, einem Mikrofon, Unschärfe, Bokeh, einer Seitenansicht oder mehreren Personen im Bild. Kein räumliches Denken, kein Weltverständnis, keine Kontrolle. Familiar ersetzt die Kette durch ein einziges multimodales Entscheidungsmodell für die Lokalisierung (MLDM): ein Durchgang und die Qualität.

++

Erst die Übersetzung, dann die Synchronisation in einem Durchgang: Stimme, Lippen und Szene zusammen.

Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert: die erste ihrer Art. Die Definition steht in Das erste Foundation Model für multimodale Übersetzung; der Vergleich mit der Kaskade, Schritt für Schritt, in Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Deckt ein Upload jeden Markt ab, in den wir verkaufen?

Ja. Material in jeder von 99 Ausgangssprachen geht einmal hinein, und die Synchros kommen in jeder der 30 Ausgabesprachen heraus, die Sie bestellen: jede Sprache aus einem Upload, jede mit derselben Performance. Eine Staffel, eine Bibliothek oder ein Feed vertikaler Folgen nimmt denselben Weg, und die Begriffe, die Sie einmal festlegen, gelten auch für die nächste Folge.

Eine komplette Synchronisation von Menschenhand, Übersetzung plus Stimme, kostet $70 bis $150 pro fertiger Minute. Zu diesem Preis ist sie für den Großteil der Welt unerreichbar. Selbst Top-Produktionen synchronisieren nur in wenige Sprachen, wegen der Kosten, des Personals und der Zeit, die es braucht.

Genau diese Lücke schließt Familiar. Keine „generative KI“, sondern Übersetzung im Dienst der Kreativen. MLDM für die Fleißarbeit. Von Mensch zu Mensch, mit größerer Reichweite.

03. Wer entscheidet, wie eine Zeile in einer anderen Sprache ankommt?

Das MLDM entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg. Ihr Team behält die Entscheidungen in der Hand, auf die es ankommt. Die Übersetzung kommt zuerst, und wo eine Zeile auf mehr als eine Art ankommen kann, sehen Ihre Creative Directors die Optionen und die Begründung zu jeder, bevor etwas synchronisiert wird.

Jede Entscheidung wird mit dem Auftrag festgehalten, und Sie können jede davon überschreiben. Die ganze Geschichte steht in Das Entscheidungsprotokoll: Wie Creative Directors das MLDM steuern. Allein am Text gemessen erreicht die Übersetzung professionelle menschliche Übersetzer: 100.3% ihrer Qualität, gemessen im Benchmark.

04. Was kommt mit einer fertigen Synchro zurück?

Eine Lieferung, die Ihr Postproduktionsteam direkt in den Release übernehmen kann, nach der Spezifikation, die ein Streamingdienst verlangt. Der Ton der Szene bleibt, wie er war: Musik, Atmosphäre und Lachen bleiben erhalten, nur die Sprache wechselt.

Die Untertitel entstehen aus der geprüften Übersetzung, nach den Konventionen des Timed Text Style Guide von Netflix zugeschnitten, des Untertitelstandards, nach dem die Branche arbeitet. Alle Dateien und Formate stehen in der Dokumentation zu den Ausgaben.

05. Wo wird unser Material verarbeitet?

Unveröffentlichtes Material ist das, was ein Studio am stärksten schützt. Jede Synchro wird auf Familiars eigenem Cluster im achtstelligen Dollarbereich aus NVIDIA-B300-GPUs in Toronto, Kanada, verarbeitet, auf Rechenleistung, die Familiar gehört.

Der Weg einer Synchro und die Antworten für Ihre Sicherheitsprüfung stehen in der Dokumentation zur privaten Inferenz.

06. Was gibt es heute, und was ist in Arbeit?

1. HEUTE

   Jede Sprache aus einem Upload, mit der eigenen Stimme und den eigenen Lippen des Schauspielers.

   30 Ausgabesprachen, 99 Ausgangssprachen; bis zu 4K, ein echter 5.1- oder Stereo-Mix, Untertitel.
2. HEUTE

   Ihre Creative Directors prüfen die Übersetzungsentscheidungen.

   Die Optionen samt Begründung, mit dem Auftrag festgehalten.
3. IN ARBEIT

   Die Entscheidungen zu Ton und Bild, in derselben Prüfung.

   Was in der Originalsprache bleibt, ein anderes Gesicht, welcher Text im Bild übersetzt wird.
4. IN ARBEIT

   Live-Synchronisation.

Der Zugang läuft per Studio-Vertrag, zugeschnitten auf Ihren Katalog: Sprechen Sie mit dem Team über Ihre Titel, Ihre Sprachen und Ihre Lieferspezifikation. Das Team besteht aus promovierten Forschenden, die das Feld der gemeinsamen audiovisuellen Menschenmodelle begründet haben: 22 Paper, über 10.000 Zitationen, mit Prof. Xu Zheng und Prof. Youngjung Uh als Beratern, unterstützt von Samsung, RedBird und Gold House. Die Forschung steht in unseren Papern und in Pionierarbeit in der multimodalen Übersetzung; die Geschichte des Gründers auf unserer Mission-Seite.

FRAGEN