ZUSAMMENFASSUNG
Die Lieder meiner Mutter
Meine Mutter singt mir ihre Lieder vor, und ich verstehe sie nicht.
Ich verstehe etwas Mandarin, aber gesungen ist die Zeile weg, bevor ich sie erwische. Und ich will, dass sie meine Lieblingssongs versteht.
Die Worte sind das, was uns entgeht
Wir alle wollen die Songtexte verstehen, die wir hören.
Das ganze Team liebt Karaoke, und niemand geht zum Karaoke, um eine Maschine singen zu hören. Erfährst du, dass kein Mensch einen Song gesungen hat, der dir gefiel, gefällt er dir weniger, und so soll es sein (warum ich glaube, dass Performer Menschen bleiben).
Der Sänger bleibt der Sänger
GENERIEREN
- Ein neuer Song und eine neue Stimme, aus einem Prompt gemacht.
- Das hat seinen Platz, wo niemand genau hinhört: in einer Werbung, als Musik im Laden.
SYNCHRONISIEREN
- Der Song, den du kennst, derselbe Sänger, dieselbe Aufnahme.
- Stimme, Phrasierung, Atem und Gefühl bleiben; der Songtext wechselt die Sprache.
Ein Song ist eine Performance aus einem gelebten Leben; ersetzt man den Sänger, ist es ein anderer Song. Der Künstler gibt jede Zeile frei, bevor irgendetwas erscheint.
Wofür KI da sein sollte
Synchronisieren statt generieren.
Bisher kam ein Song nur in eine andere Sprache, wenn er neu eingesungen wurde: vom Künstler, von jemand anderem oder als neu gemachter Gesang. Mit Song Dubbing wird nichts neu eingesungen; die Original-Performance wird übertragen, und die Lippen im Musikvideo folgen den neuen Worten. Das ist die erste echte Song-Synchronisation.
Wir haben das multimodale Foundation Model für die Lokalisierung (MLFM) gebaut, um einen Menschen in einer anderen Sprache ganz zu bewahren, und eine gesungene Zeile ist die schwierigste Version dieser Aufgabe. Als Musiker höre ich auf die mehrsilbigen Reime und Binnenreime, die Bedeutung, das Genre, den Rhythmus: Sitzt die neue Zeile nicht so im Groove wie die alte, ist es die falsche Zeile.
Menschen über Kulturen hinweg verbunden
Song Dubbing ist für Plattenlabels und ihre Künstler gedacht, Album für Album, die Musikvideos gleich mit (Song Dubbing). Wer ein Album in neue Sprachen bringen will, schreibt dem Team.
FRAGEN
Ist Song Dubbing KI-Musikgenerierung?
Nein. Es macht keinen neuen Song und keine neue Stimme; es trägt eine bestehende Aufnahme in eine andere Sprache, mit der Stimme desselben Sängers.
Muss der Sänger den Song neu einsingen?
Nein. Mit Song Dubbing wird nichts neu eingesungen: Die Original-Performance wird übertragen, und deshalb nennt Familiar Labs es die erste echte Song-Synchronisation.
Wer gibt die übersetzten Songtexte frei?
Der Künstler oder sein Team gibt jede Zeile in jeder Sprache frei, bevor irgendetwas erscheint.
QUELLEN
Multimodale Übersetzung
Familiar Labs entwickelt Synchronisation einer neuen Generation, mit einem multimodalen Foundation Model für die Lokalisierung (MLFM), dem ersten Foundation Model für multimodale Übersetzung: Ein Modell entscheidet, was über Text, Ton und Bild hinweg lokalisiert wird, und zeigt Ihnen die Optionen. Ihre Stimme und Ihre Lippen, übertragen in neue Sprachen. Ein Team von 7 mit PhDs, unterstützt von Samsung, RedBird und Gold House. Unsere Mission
UNTERSTÜTZT VON
Stanford
Yonsei



