Fragen
Synchronisation einer neuen Generation: deine Stimme und deine Lippen, übertragen in neue Sprachen; wer ElevenLabs und HeyGen zusammenflickt, klingt und wirkt trotzdem wie ein Fremder. Und das ist mehr als KI-Lippensynchronisation: Das ganze Gesicht spricht die neue Sprache, samt Verdeckungen und räumlichem Denken.
In unserem veröffentlichten Benchmark:
- ihr neuestes Produkt hatte 270% mehr Fehler bei den Hintergrundgeräuschen: das Lachen, die Musik, die Atmosphäre
- 54.7% weniger schwerwiegende Übersetzungsfehler als ihr neuestes Produkt
- gegenüber ihrem Dubbing v1 klang unsere Stimme 27.8% mehr nach dem echten Sprecher, in allen 11 Sprachen näher dran
Bei denselben Clips hat ElevenLabs:
- 45-mal Wörter verschluckt oder erfunden
- 8-mal Lachen und Soundeffekte zerstört
- 6-mal die Stimme des Sprechers verloren
- 6-mal überlappende Sprecher vermischt
- 4-mal die Vortragsweise glattgebügelt
- 4-mal die Atmosphäre der Szene entfernt
- seine API lehnt Clips unter 11 Sekunden ab
Wer sich das selbst zusammenflickt, zahlt $11 pro Minute: $8 für den Lipsync von Sync.so plus $3 für das Audio von ElevenLabs. Eine Synchro von Familiar Labs enthält Stimme, Lipsync und Übersetzung, in bis zu 4K mit echtem 5.1-Surround- oder Stereo-Mix.
MLFM ist das erste Foundation Model für multimodale Übersetzung, ein neues Paradigma, das erste seiner Art: ein Modell, das entscheidet, was lokalisiert wird und wie, über Text, Ton und Bild hinweg, und dir die Optionen vorlegt, auf die es ankommt. Erst die Übersetzung, dann die Synchronisation in einem Durchgang: Stimme, Lippen und Szene zusammen.
- In der Übersetzung: welche Fassung einen Witz, eine Geschichte oder eine Wendung im Gespräch trägt, was unübersetzt bleibt, ob der Slang bleibt, wie er gesagt wurde, ob der Name und die Marke bleiben, ob die Anspielung ersetzt wird, was eine Kultur meidet und wie viele Kraftausdrücke zum Publikum passen. Deine Creative Directors sehen die Optionen samt Begründung und wählen.
- Im Ton: was überhaupt übersetzt wird. Das Modell findet die Hauptstimme und lässt Lachen, Publikum und Rufe, wie sie waren; die Wahl, was im Original bleibt, ist in Arbeit.
- Im Bild: wer im Bild spricht, wer erzählt, wer aus dem Off spricht; die Lippen, samt Verdeckungen und räumlichem Denken; Mimik und Gesten, wenn die Betonung es verlangt. Der Text im Bild ist in Arbeit: Das Modell entscheidet von selbst, was so bleibt, wie es gedreht wurde (eine Marke, ein Name, Slang), sodass eine Tüte Tostitos Tostitos bleibt; dazu kommt die Wahl, welches Gesicht und welcher Text.
Jede Entscheidung wird mit dem Auftrag festgehalten, und du kannst sie überschreiben. Kein Prompt, und nichts wird neu erfunden: Es entscheidet, wie das lokalisiert wird, was schon da ist.

