Audiovisuelle Übersetzung aus einem Guss, nicht kaskadiert

01. Was war die Ära der Kaskade in der maschinellen Synchronisation?

Maschinelle Synchronisation begann als Kaskade: vier Tools hintereinander, jedes für sich gebaut und abgestimmt, jedes reicht sein Ergebnis an das nächste weiter.

1. 01

   Transkription.

   Spracherkennung schreibt auf, was gesagt wurde.
2. 02

   Übersetzung.

   Ein Textmodell überträgt das Transkript in die neue Sprache, ohne die Stimme zu hören oder das Gesicht zu sehen.
3. 03

   Eine Stimme.

   Sprachsynthese liest die Übersetzung vor, oft mit einer fremden Stimme.
4. 04

   Lipsync.

   Ein separates Tool bewegt den Mund zum neuen Ton, nachdem jedes Wort feststeht.

Diese Kette hat maschinelle Synchronisation erst möglich gemacht. Ihre Grenze liegt in ihrer Form: Jede Stufe rät ohne die anderen. Die Übersetzung kann nicht wissen, dass die Zeile zu einem geschlossenen Mund passen muss. Die Stimme kann den Raum nicht kennen, in dem sie steht. Ein falsch verstandenes Wort oder eine zu lange Zeile wird weitergereicht, und der Fehler wächst mit jeder folgenden Stufe.

Jedes Tool wurde über die Jahre besser: ein saubereres Transkript, eine genauere Übersetzung, eine natürlichere Stimme. Die fertige Synchro wurde langsamer besser, weil die Nahtstellen zwischen den Tools blieben, wo sie waren.

02. Worauf trifft ein Käufer heute?

In der Praxis kommt die Kaskade als Stapel von Tools: ein Transkript aus dem einen, die Übersetzung aus dem nächsten, eine Stimme aus einem dritten, Lipsync und Untertitel aus einem vierten. Eine Korrektur an einer Zeile heißt, jede Stufe danach neu laufen zu lassen, und jemand im Team hält die Dateien zusammen. Die Tools, die den Stapel überspringen, tauschen Qualität gegen Zeit. Die assistiven Tools erreichen die Qualität mit einem Team aus VFX-Artists an den schwierigen Einstellungen: Wochen pro Projekt, und jede Sprache ist ein neues Projekt. Die Tools, die in einem Durchgang arbeiten, sind schnell und opfern den Rest: Die Stimme driftet ab, der Raumklang fällt weg, und die Lippen versagen bei einer Hand vorm Gesicht, einem Mikrofon, Unschärfe, Bokeh, einer Seitenansicht oder mehreren Personen im Bild, ohne räumliches Denken und ohne Weltverständnis. Familiar ist ein Durchgang und die Qualität.

Der andere Weg ist eine komplette Synchronisation von Menschenhand, Übersetzung und Stimme, zu $70–150 pro fertiger Minute. Kosten, Personal und Zeit machen sie für den Großteil der Welt unerreichbar: Selbst Top-Produktionen synchronisieren nur in wenige Sprachen, und kleinere Produktionen, Shows und Mikrodramen werden meist gar nicht synchronisiert.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Falls Sie ElevenLabs Dubbing in Betracht ziehen, hier deren Dokumentation, zitiert, neben unserer Studie:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Was ändert sich, wenn ein Modell jede Entscheidung trifft?

Familiar synchronisiert mit einem multimodalen Entscheidungsmodell für die Lokalisierung (MLDM). MLDM entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg, und die Entscheidungen passen zueinander, weil ein Modell sie trifft. Die Definition steht in Das erste Foundation Model für multimodale Übersetzung.

Zurück bekommen Sie die eigene Performance des Schauspielers in einer anderen Sprache: seine Stimme, seine Lippen, seine Mimik und den Ton der Szene, gemeinsam übertragen. Ein Upload geht in jede Sprache zugleich: Synchros in 30 Sprachen, aus Material in jeder von 99 Ausgangssprachen.

Gemeinsam zu entscheiden ändert auch, was schiefgehen kann. Eine Zeile, die zu lang würde, wird passend zur Zeit und zum Mund übertragen, bevor eine Stimme entsteht. Ein Lachen mitten im Satz bleibt ein Lachen. Reden zwei Menschen durcheinander, weiß das Modell, wer welche Zeile sagt, also bewegen sich die richtigen Lippen.

04. Was ändert das an der fertigen Synchro?

Wir schicken dieselben Clips durch beide Systeme und bewerten sie gleich. Jede Zahl stammt aus ihrer eigenen Studie, veröffentlicht im Benchmark.

Auch die Stimme wird gemessen: Familiar klingt 27.8% mehr nach dem echten Sprecher als ElevenLabs Dubbing v1, in allen 11 Sprachen näher dran, in der oben zitierten Studie.

YouTubes automatische Synchronisierung zeigte in ihrer eigenen Studie 232.6% mehr Fehler bei den Hintergrundgeräuschen. Die Szene übersteht die Synchro, weil das MLDM alles in der Spur hört, das Lachen, die Menge, die Musik, die Hauptstimme findet, sie in der eigenen Stimme des Sprechers in die neue Sprache trägt und den Rest lässt, wie er war.

05. Was heißt „erst die Übersetzung, dann die Synchronisation in einem Durchgang“?

++

Erst die Übersetzung, dann die Synchronisation in einem Durchgang: Stimme, Lippen und Szene zusammen.

Die Reihenfolge zählt. Die Übersetzung kommt zuerst, und Ihre Creative Directors prüfen sie: Wo eine Zeile auf mehr als eine Art ankommen kann, sehen sie die Fassungen samt Begründung und wählen eine. Erst dann entsteht die Synchro, einmal. Nichts Neues wird erfunden. Keine „generative KI“, sondern Übersetzung im Dienst der Kreativen. MLDM für die Fleißarbeit.

Die Untertitel werden nach den Konventionen des Timed Text Style Guide von Netflix zugeschnitten, des Untertitelstandards, nach dem die Branche arbeitet. Jede Synchro wird auf Familiars eigenem Cluster im achtstelligen Dollarbereich aus NVIDIA-B300-GPUs in Toronto, Kanada, verarbeitet, nie in einer Public Cloud wie Google Cloud oder AWS und nie bei einem fremden Inferenzanbieter. Die Dateien stehen in der Dokumentation zu den Ausgaben, die Verarbeitung unter Private Inferenz, und was das für einen Katalog bedeutet, in Was ein Foundation Model für multimodale Übersetzung für Studios und Plattformen bedeutet.

06. Wer hat das letzte Wort?

1. HEUTE

   Ihre Creative Directors prüfen die Übersetzungsentscheidungen.

   Die Fassungen samt Begründung; sie wählen eine, bevor etwas hinausgeht.
2. HEUTE

   Eine Nicht-übersetzen-Liste und ein Satz Kontext reisen mit dem Auftrag.

3. IN ARBEIT

   Die Entscheidungen zu Ton und Bild, in derselben Prüfung.

   Was in der Originalsprache bleibt, ein anderes Gesicht, wenn das Modell den falschen Sprecher gewählt hat, und der Text im Bild.

Für einen Katalog ändert sich die Reichweite. Eine Show, die in einer Sprache geblieben wäre, kann in 30 zugleich hinausgehen, mit den eigenen Performances der Schauspieler, während Ihr Team weiter jede Entscheidung trifft, auf die es ankommt.

Das ist das Entscheidungsprotokoll; die ganze Geschichte steht in Das Entscheidungsprotokoll: Wie Creative Directors das MLDM steuern, was das Modell entscheidet, in Was ist MLDM?. Die Forschung dahinter steht in Pionierarbeit in der multimodalen Übersetzung. Von Mensch zu Mensch, mit größerer Reichweite.

FRAGEN