ERKLÄRT

Übersetzung ist keine Generierung

FAMILIAR FORSCHUNGAKTUALISIERT ALLE ARTIKEL

ZUSAMMENFASSUNG

Keine „generative KI“, sondern Übersetzung im Dienst der Kreativen. Generieren und Übersetzen sind verschiedene Verben. Wer generiert, nimmt einen Prompt und schafft etwas, das es nicht gab. Wer übersetzt, nimmt etwas, das schon existiert, eine Performance, und trägt es in eine andere Sprache. Familiar ist ein neues Paradigma, das erste seiner Art: ein multimodales Entscheidungsmodell für die Lokalisierung (MLDM), das erste Foundation Model für multimodale Übersetzung. Schauspieler, Timing und Szene bleiben; die Worte, der Mund und die Sprachspur ändern sich, damit sie zur neuen Sprache passen.
DAS ERSTE FOUNDATION MODEL FÜR MULTIMODALE ÜBERSETZUNG

Zwei Verben

Generative KI ist eine gute Sache, um Neues zu schaffen: Ein Prompt geht hinein, neuer Inhalt kommt heraus, und gerade darum geht es, dass das Ergebnis neu ist. Übersetzung verfolgt das gegenteilige Ziel.

ÜbersetzungDAS ANDERE VERB

Eine Performance geht hinein, und dieselbe Performance kommt in einer anderen Sprache heraus.

GENERIEREN

  • Rein: ein Prompt
  • Raus: neuer Inhalt
  • Gemessen an: wie neu und gut das Ergebnis ist

ÜBERSETZEN

  • Rein: eine fertige Performance
  • Raus: dieselbe Performance in einer anderen Sprache
  • Gemessen an: wie treu sie dem Original bleibt

Jeder Übersetzer, Mensch oder Maschine, wird daran gemessen, wie wenig er erfindet.

Was bleibt, was sich ändert

Der Schauspieler
ÄNDERT SICHDie Worte
Das Gesicht
ÄNDERT SICHDie Mundbewegungen
Das Timing
ÄNDERT SICHDie Sprachspur, in der neuen Sprache
Der Ton der Szene: Lachen, Musik, Atmosphäre
ÄNDERT SICH

Die Stimme in der neuen Sprache ist die eigene des Schauspielers, aus dem Clip selbst gewonnen. Namen und Catchphrases bleiben über eine Nicht-übersetzen-Liste genau so, wie sie gesagt wurden; Witze werden umgeschrieben, damit sie in der Zielsprache zünden.

Warum Lipsync zur Übersetzung gehört

Menschen hören Sprache nicht allein mit den Ohren. Beim McGurk-Effekt wird eine Stimme, die [b] sagt, auf ein Gesicht synchronisiert, das [g] sagt, meist als [d] gehört, ein Laut, den keiner der beiden Kanäle trug (Tiippana, 2014, mit Bezug auf McGurk und MacDonald, 1976). Das Gehirn verschmilzt, was es sieht, mit dem, was es hört.
STIMME [b] + GESICHT [g] = GEHÖRT [d]

Eine reine Stimmsynchro lässt diesen Widerspruch in jedem Frame stehen: Der Mund spricht die eine Sprache, die Tonspur die andere, und das Verstehen fällt schwerer. Damit wird der Mund Teil der Botschaft. Eine Performance zu übersetzen heißt, die Lippen mit den Worten zu übersetzen; deshalb bewegt eine Familiar-Synchro die Lippen zu den neuen Worten (die FAQ, „Warum ist Lipsync wichtig?“).

Creative Directors prüfen vor der Veröffentlichung

Manche Zeilen können auf mehr als eine Art ankommen: ein Witz, ein Seitenhieb, ein Satz, der aufrichtig oder trocken wirken kann. Sie kommen als drei Übersetzungen mit unterschiedlicher Absicht und Emotion zurück; ebenso der Slang, der bleibt, wie er gesagt wurde, und die Kraftausdrücke, die für eine jüngere Fassung entschärft werden. Das Team wählt eine, bearbeitet jede Zeile mit Blick auf das Original und startet erst dann das Rendern.

MLDM für die Fleißarbeit.

Die Fleißarbeit der Synchronisation ist die Entscheidung, welche Stimme und wie die Lippen folgen, für jede Zeile in jeder Sprache. Das MLDM trifft sie und hält jede Entscheidung mit dem Auftrag fest, damit Ihr Team jede davon überschreiben kann. In Arbeit: die Wahl, welche Töne in der Originalsprache bleiben, ein Sprechchor oder ein Schrei, und welches Gesicht oder welcher Text im Bild übersetzt wird. Die Entscheidungen, die eine Synchro gut machen, welcher Witz zündet, welcher Ton passt, welcher Name bleibt, liegen weiter bei den Menschen, die das Werk geschaffen haben.

++
Alle Daten, mit denen wir trainiert haben, hat das Familiar-Team selbst erstellt.

Wir sind ein weiteres Werkzeug im kreativen Prozess.

FRAGEN

Ist Familiar generative KI?

Nein. Familiar ist ein multimodales Entscheidungsmodell für die Lokalisierung (MLDM): Es entscheidet ohne Prompt, wie das lokalisiert wird, was schon da ist. Ihr Video geht hinein, dieselbe Performance kommt in einer anderen Sprache heraus. Alle Daten, mit denen wir trainiert haben, hat das Familiar-Team selbst erstellt. Wir sind ein weiteres Werkzeug im kreativen Prozess.

Was passiert mit meiner Musik und meinen Soundeffekten?

Sie bleiben. Das Lachen, die Musik und der Bass, die Soundeffekte und die Atmosphäre überleben unter dem neuen Dialog.

Kann ich die Übersetzung korrigieren?

Ja. Jedes Video pausiert an einem Prüfbildschirm, an dem Sie jede Zeile mit Blick auf das Original bearbeiten, bevor es gerendert wird.

QUELLEN

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, gelesen am 24. Oktober 2026
  2. [2]Familiar-FAQ: Warum ist Lipsync wichtig?
  3. [3]KI-Lippensynchronisation: was sie ist, was sie übersieht, was besser ist
  4. [4]Warum Familiar keine generative KI im klassischen Sinn ist
  5. [5]Ein weiteres Werkzeug im kreativen Prozess

Multimodale Übersetzung

Familiar Labs entwickelt Synchronisation einer neuen Generation, mit einem multimodalen Entscheidungsmodell für die Lokalisierung (MLDM), dem ersten Foundation Model für multimodale Übersetzung: Ein Modell entscheidet, was über Text, Ton und Bild hinweg lokalisiert wird, und zeigt Ihnen die Optionen. Ihre Stimme und Ihre Lippen, übertragen in neue Sprachen. Ein Team von 8 mit PhDs, unterstützt von Samsung, RedBird und Gold House. Unsere Mission