Worauf es bei der Videoübersetzung ankommt

01. Die vier Probleme

Fragt man, was ein gut synchronisiertes Video ausmacht, bekommt man eine lange Liste. Sie lässt sich auf vier Punkte verdichten:

Scheitern die ersten beiden, ist alles Weitere egal: Ein falsch übersetzter Satz oder eine hörbar falsche Stimme beendet die Synchro schon für sich allein. Die letzten beiden entscheiden, ob sich das Ergebnis wie das Original anfühlt oder wie eine Synchro.

02. Natürliche Übersetzung: ein neues Skript statt einer Abbildung

Jede Sprache drückt die Dinge auf ihre eigene Art aus: Wörter, Redewendungen, Satzbau, Anredeformen, was überhaupt ausgesprochen wird. Bittet man ein Modell zu „übersetzen“, bildet es Sätze eins zu eins von Sprache A auf Sprache B ab. Menschen machen es genauso: Wer sich als Übersetzer versteht, reduziert die Aufgabe darauf, Sätze umzuwandeln.

• Japanisch meidet allzu direkte Formulierungen; eine natürliche Zeile muss oft indirekt neu gebaut werden, statt Wort für Wort abgeschwächt zu werden.
• Koreanisch lässt ständig das Subjekt weg; wer englische Pronomen in englischer Häufigkeit ins Koreanische trägt, klingt fremd, selbst wenn jedes Wort stimmt.
• Wortstellung, Register, Höflichkeitsformen und das, was eine Kultur unausgesprochen lässt, verschieben sich mit jeder Sprache; eine Übersetzung ist nicht gut, nur weil die wörtliche Bedeutung überlebt hat.

„Gut“ lässt sich schlecht abhaken, also verdichten wir das Ziel auf einen Satz: den Inhalt des Videos in der Zielsprache gut vermitteln. Das ist messbar:

03. Natürlicher Ton: dieselbe Person in einer neuen Sprache

Die Aussprache ist so gut wie gelöst. Die interessanten Fehler liegen dahinter:

• Identität: Dieselbe Person klingt in jeder Sprache weiter wie dieselbe Person.
• Emotion: Was der Sprecher gefühlt hat, übersteht den Sprachwechsel.
• Betonung, Tempo, Absicht: wohin sich der Satz neigt, wie schnell er läuft, was er erreichen will.

Das Ziel verdichtet sich wie bei der Übersetzung: Der Ton passt zum Video. Nicht „Sprache B mit der Stimme aus Sprache A erzeugen“. Dieselbe Performance in einer neuen Sprache. Und die Szene gehört zum Ton: das Lachen, die Musik, der Raum.

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

04. Text im Bild gehört zum Video

Moderne Videos stützen sich auf Text im Bild: Einblendungen, Witze, Memes, ein einzelnes Wort genau auf dem Beat. Jedes davon ist ein visuelles Ereignis in der Ausgangssprache. Es anzupassen, stellt zwei Anforderungen:

• Das Video nie beschädigen. Artefakte oder visuelle Ablenkung machen das Ergebnis schlechter als das Original.
• Nie wörtlich übersetzen. Man muss verstehen, warum dieser Text in diesem Moment an dieser Stelle steht, bevor man ihn anpassen kann.

Heute übersetzt Familiars multimodales Entscheidungsmodell für die Lokalisierung (MLDM), das erste Foundation Model für multimodale Übersetzung, ein neues Paradigma und das erste seiner Art, Titel, Beschreibungen und Untertitel zusammen mit der Synchro. Text im Bild ist in Arbeit: ein Handydisplay oder ein Straßenschild, geschrieben in den Begriffen, die Sie schon festgelegt haben, eine Marke oder ein Name, die das Modell von selbst so lässt, wie sie gedreht wurden, sodass eine Tüte Tostitos Tostitos bleibt, und Sie wählen, welcher Text übersetzt wird. Die Regel gilt weiter: Fällt der Eingriff auf, ist er nicht gut genug.

05. Lipsync: gelungen, wenn er nicht auffällt

Für den Lipsync gilt dieselbe harte Anforderung: das Video nie beschädigen. Das größte Kompliment für den Lipsync einer Synchro ist die Frage: „Was wurde denn geändert?“

Der Effekt arbeitet auch für die Synchro. Sobald der Mund passt, löst das Gehirn Mehrdeutigkeiten in Richtung Übereinstimmung auf: Die Aussprache wirkt klarer, und die Klangfarbe wirkt eher wie dieselbe Person.

Die schwierigen Teile: Stimmen aus dem Off, Sprecher, die sich überlappen, Menschen, die ähnlich aussehen oder klingen, und den Mund zu bearbeiten, ohne das Gesicht zu zerstören. Stehen zwei Personen im Bild, synchronisieren die heutigen Tools beide Münder gleichzeitig.

Die Lippen sind nur der Anfang. Ein Mensch spielt einen Satz mit dem ganzen Gesicht, mit Augen, Brauen, Wangen und Kopf, und mit dem Körper: Gesten, Nicken, der halbe Takt des Zuhörens.

06. Ein Problem, nicht vier

Jede Anforderung lief auf denselben Satz hinaus. Natürliche Übersetzung: schreiben, was dieses Video sagt, in der Zielsprache. Natürlicher Ton: dieselbe Performance in den neuen Worten halten. Text im Bild: wissen, warum er da ist, bevor man ihn anfasst. Lipsync: die Person bearbeiten, ohne sie zu zerstören.

Genau das entscheidet das MLDM, gemessen auf denselben Clips und veröffentlicht unter /benchmark. Jede Entscheidung wird mit dem Auftrag festgehalten und lässt sich überschreiben; heute wählen Ihre Creative Directors zwischen den Übersetzungsfassungen.