KONTROLLE

Das Entscheidungsprotokoll: Wie Creative Directors das MLDM steuern

FAMILIAR FORSCHUNGAKTUALISIERT ALLE ARTIKEL

ZUSAMMENFASSUNG

Das MLDM ist das erste Foundation Model für multimodale Übersetzung, ein neues Paradigma, das erste seiner Art. Jede seiner Entscheidungen wird mit der Synchro festgehalten: Sie lesen sie nach, überschreiben sie und behalten eine Wahl für die nächste Folge. Die Übersetzungsentscheidungen werden heute geprüft; die zu Ton und Bild sind in Arbeit.
DAS ERSTE FOUNDATION MODEL FÜR MULTIMODALE ÜBERSETZUNG

Die Entscheidungen, die Sie heute lenken

  1. 01

    Zuerst kommt die Übersetzung zurück.

  2. 02

    Wo eine Zeile auf mehr als eine Art ankommen kann, liefert der Prüfschritt drei Fassungen, jede für eine andere Absicht und ein anderes Gefühl, jede mit ihrer Begründung.

  3. 03

    Ihre Creative Directors wählen eine oder schreiben ihre eigene, dann wird gerendert.

Dieselbe Prüfung umfasst die Lokalisierungsentscheidungen, zuerst, was unübersetzt bleibt: der Slang, wie er gesagt wurde, der Name und die Marke, eine Anspielung, die gegen eine ersetzt wird, die das Publikum kennt, was diese Kultur meidet, und die Kraftausdrücke, die für eine jüngere Fassung abgeschwächt werden.

Ein Wortspiel, Koreanisch nach Englisch

„사과하려고 사과 사 왔어.“ beruht darauf, dass 사과 zugleich Entschuldigung und Apfel heißt. Drei Fassungen kommen zurück:

  • „Apples. I'm sorry, right down to the core.“ Das Wortspiel bleibt.
  • „I came to say sorry. I brought apples.“ Nur die Bedeutung.
  • „An apple a day keeps the silent treatment away.“ Ein neuer Witz.

Der Creative Director wählte die erste und bearbeitete sie.

Eine Spitze, Chinesisch nach Englisch

„你可真行啊。“ klingt je nach Szene wie ein Lob oder wie eine Spitze:

  • „Wow. You're incredible.“ Aufrichtig.
  • „Well, aren't you something.“ Sarkastisch, die gewählte Fassung.
  • „Look at you, hotshot.“ Neckend.

Ein Podcast, eine Folge oder ein Film enthält viele solcher Stellen: die Witze, die Gespräche, die Geschichten.

Die Entscheidungen im Ton

Das MLDM entscheidet, was überhaupt übersetzt wird. Es findet die Hauptstimme, trägt sie in der eigenen Stimme des Sprechers in die neue Sprache und lässt den Rest, wie er war. Ihrem Team jeden knappen Fall im Ton zu zeigen, ist in Arbeit.

Was in der Originalsprache bleibt: ein Fangesang im Stadion, auf Koreanisch belassen; ein Ruf quer durch eine Küche; eine Catchphrase, die die Fans kennen. Der Sprecher im Hintergrund, den niemand versteht, bleibt, wie er war, oder kommt als Option zurück, ihn doch zu übersetzen.

Die Entscheidungen im Bild

IN ARBEIT

WER ES TATSÄCHLICH SAGT
WAS FESTGEHALTEN WIRDDas Gesicht, dem eine Zeile zugeordnet wird, der Erzähler, die Stimme aus dem Off.
WAS SIE TUN KÖNNENWählt das Modell den falschen Sprecher, wählen Sie das Gesicht aus den Kandidaten, und die Lippen bewegen sich bei der richtigen Person.
DER TEXT IM BILD
WAS FESTGEHALTEN WIRDDas Handydisplay mit 내일 봐, ein Straßenschild, ein Schaufenster und was das Modell von selbst so gelassen hat, wie es gedreht wurde: die Marke auf einer Tüte Tostitos, ein Name.
WAS SIE TUN KÖNNENJedes Element wird in den Begriffen geschrieben, die Sie schon festgelegt haben, etwa als „Bis morgen“, oder bleibt, wie es gedreht wurde.
MIMIK UND GESTEN
WAS FESTGEHALTEN WIRDSie folgen der Betonung der neuen Zeile oder der Kultur.
WAS SIE TUN KÖNNENEin Heben der Augenbraue, das das neue Publikum anders liest, kann so bleiben, wie es gedreht wurde.

Mit der Synchro festgehalten

Das Protokoll macht MLDM zu einem neuen Paradigma, dem ersten seiner Art: ein Modell, das seine Entscheidungen zeigt.

++
Das Entscheidungsprotokoll, in Arbeit, enthält jede Entscheidung mit ihren Optionen, der Begründung, der getroffenen Wahl und wer sie getroffen hat: das Modell, Sie oder das Gedächtnis.

Es ist in der Prüfung offen und beim Rendern festgeschrieben. Ändern Sie eine Entscheidung an einer gelieferten Synchro und rendern Sie neu; nur die betroffenen Sprachen werden neu gerendert. Auch eine mit review=auto gerenderte Synchro schreibt das Protokoll, mit den Entscheidungen des Modells. Die Synchro selbst entsteht aus diesen Entscheidungen in einem Durchgang: Stimme, Lippen und Szene zusammen. Die Tools, die heute in einem Durchgang arbeiten, funktionieren andersherum: einmal hochladen, und Sie bekommen, was herauskommt. Der Weg zur hohen Qualität behält die Kontrolle stattdessen in Handarbeit, mit einem assistiven Tool, einem Team aus VFX-Artists und Wochen pro Projekt. Familiar ist ein Durchgang und die Qualität.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Eine einmal getroffene Wahl gilt auch für die nächste Folge

  1. HEUTE

    Zwei dauerhafte Entscheidungen funktionieren heute.

    Nicht übersetzen hält eine Wendung, wie sie gesagt wurde, und Kontext liefert das Briefing in einem Satz; beides legen Sie vor der Synchro fest. Das Protokoll enthält die Entscheidungen, die das Modell dabei getroffen hat.
  2. IN ARBEIT

    Entscheidungsgedächtnis.

    Merken Sie sich eine Überschreibung für einen Creator, eine Show, einen Kanal oder eine Person, und die nächste Synchro wendet sie zuerst an, wenn dieselbe Zeile, derselbe Begriff, Name, Sprechchor, dasselbe Schild oder Gesicht wiederkommt. Die im Original belassene Catchphrase gilt in Folge 2 ohne zweite Prüfung.

In der Prüfansicht und in der API

In Arbeit: Die Prüfansicht bekommt eine Entscheidungsleiste. Eine Zeitleiste der Folge trägt eine Markierung pro Entscheidung, gefiltert nach Übersetzung, Ton oder Bild; jede Karte zeigt den Moment, die Optionen mit Begründung und die hervorgehobene Wahl des Modells. Ein Tippen wählt eine andere Option, nimmt Ihren eigenen Text, behält das Original oder merkt sich die Wahl für diesen Creator.

Die API liefert dasselbe Protokoll, also erscheint eine in der Ansicht getroffene Wahl auch in der API und umgekehrt. Die geplante Schnittstelle, komplett in Arbeit:

GET /v1/dubs/{dub_id}/decisions
WAS ES TUTLiest das Protokoll.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
WAS ES TUTÜberschreibt eine Entscheidung.
decisions.*
WAS ES TUTDie Einstellungen einer neuen Synchro legen fest, wie viele Fassungen zurückkommen, wie stark Kraftausdrücke abgeschwächt werden und welche Entscheidungen Ihnen vorgelegt werden.
dub.decisions_ready
WAS ES TUTDer Webhook wird ausgelöst, sobald das Protokoll offen ist.
decisions.json
WAS ES TUTEnthält das vollständige Protokoll zu jeder gelieferten Synchro.

Die Referenz steht unter Entscheidungen; der heutige Prüfschritt unter Transkript und Prüfung.

FRAGEN

Welche Entscheidungen kann ich heute ändern?

Die Übersetzungsentscheidungen. Eine Zeile, die auf mehr als eine Art ankommen kann, kommt als drei Fassungen zurück, jede mit ihrer Begründung; Ihre Creative Directors wählen eine oder schreiben ihre eigene, dann wird gerendert. Die Entscheidungen zu Ton und Bild sind in Arbeit.

Kann ich einen Sprechchor in der Originalsprache lassen?

Diese Wahl ist in Arbeit. Ein Fangesang im Stadion, ein Ruf oder eine Catchphrase kommen als Entscheidung im Ton zurück, die Sie in der Ausgangssprache belassen können, und die Wahl kann für die nächste Folge gelten.

Was, wenn das Modell das falsche Gesicht gewählt hat?

Die Wahl eines anderen Gesichts ist in Arbeit. Die Zeile kommt mit den infrage kommenden Gesichtern zurück; Sie wählen den richtigen Sprecher, und die Lippen bewegen sich bei dieser Person.

Gilt eine Wahl auch für die nächste Folge?

Das Entscheidungsgedächtnis ist in Arbeit: Eine für einen Creator gemerkte Überschreibung gilt bei der nächsten Synchro zuerst. Heute gelten Nicht übersetzen und Kontext für alle Synchros, für die Sie sie festlegen.

Hält review=auto die Entscheidungen trotzdem fest?

Ja. Im geplanten Protokoll schreibt auch eine ohne Prüfung gerenderte Synchro jede Entscheidung mit der Wahl des Modells, nach dem Rendern lesbar. Sie können eine ändern und neu rendern.

Ist das generative KI?

Nein. MLDM ist ein neues Paradigma, das erste seiner Art. Es gibt keinen Prompt, und nichts Neues wird erfunden: Es entscheidet, wie das lokalisiert wird, was schon da ist, und zeigt Ihnen diese Entscheidungen.

QUELLEN

  1. [1]Was ist ein multimodales Entscheidungsmodell für die Lokalisierung (MLDM)?
  2. [2]API: Entscheidungen
  3. [3]API: Transkript und Prüfung

Multimodale Übersetzung

Familiar Labs entwickelt Synchronisation einer neuen Generation, mit einem multimodalen Entscheidungsmodell für die Lokalisierung (MLDM), dem ersten Foundation Model für multimodale Übersetzung: Ein Modell entscheidet, was über Text, Ton und Bild hinweg lokalisiert wird, und zeigt Ihnen die Optionen. Ihre Stimme und Ihre Lippen, übertragen in neue Sprachen. Ein Team von 8 mit PhDs, unterstützt von Samsung, RedBird und Gold House. Unsere Mission