MEINUNG

Das Gegenteil von KI-Musikgenerierung

Warum der Sänger der Sänger bleibt.

FAMILIAR LABS FORSCHUNGALLE ARTIKEL

ZUSAMMENFASSUNG

Wir sind das Gegenteil von KI-Musikgenerierung. Wir sind dagegen, Menschen zu ersetzen. Song Dubbing trägt den Song, den du kennst, in eine andere Sprache, mit der Stimme desselben Sängers; nur die Sprache ändert sich. Dafür sollte KI da sein: damit auch meine Mutter meine Lieblingssongs versteht.

Die Lieder meiner Mutter

Meine Mutter singt mir ihre Lieder vor, und ich verstehe sie nicht.

Ich verstehe etwas Mandarin, aber gesungen ist die Zeile weg, bevor ich sie erwische. Und ich will, dass sie meine Lieblingssongs versteht.

Die Worte sind das, was uns entgeht

Wir alle wollen die Songtexte verstehen, die wir hören.

Ich bin Audiophiler und spiele Klavier, Cello und E-Bass. Der Songtext ist das Einzige an einer Aufnahme, das mir in einer anderen Sprache entgeht, und wer ihn versteht, hört in einer Zeile, die er jahrelang gesummt hat, plötzlich ein Geständnis oder einen Abschied.

Das ganze Team liebt Karaoke, und niemand geht zum Karaoke, um eine Maschine singen zu hören. Erfährst du, dass kein Mensch einen Song gesungen hat, der dir gefiel, gefällt er dir weniger, und so soll es sein (warum ich glaube, dass Performer Menschen bleiben).

Der Sänger bleibt der Sänger

GENERIEREN

  • Ein neuer Song und eine neue Stimme, aus einem Prompt gemacht.
  • Das hat seinen Platz, wo niemand genau hinhört: in einer Werbung, als Musik im Laden.

SYNCHRONISIEREN

  • Der Song, den du kennst, derselbe Sänger, dieselbe Aufnahme.
  • Stimme, Phrasierung, Atem und Gefühl bleiben; der Songtext wechselt die Sprache.

Ein Song ist eine Performance aus einem gelebten Leben; ersetzt man den Sänger, ist es ein anderer Song. Der Künstler gibt jede Zeile frei, bevor irgendetwas erscheint.

Wofür KI da sein sollte

Synchronisieren statt generieren.

Bisher kam ein Song nur in eine andere Sprache, wenn er neu eingesungen wurde: vom Künstler, von jemand anderem oder als neu gemachter Gesang. Mit Song Dubbing wird nichts neu eingesungen; die Original-Performance wird übertragen, und die Lippen im Musikvideo folgen den neuen Worten. Das ist die erste echte Song-Synchronisation.

Wir haben das multimodale Foundation Model für die Lokalisierung (MLFM) gebaut, um einen Menschen in einer anderen Sprache ganz zu bewahren, und eine gesungene Zeile ist die schwierigste Version dieser Aufgabe. Als Musiker höre ich auf die mehrsilbigen Reime und Binnenreime, die Bedeutung, das Genre, den Rhythmus: Sitzt die neue Zeile nicht so im Groove wie die alte, ist es die falsche Zeile.

Menschen über Kulturen hinweg verbunden

++

Wir wollen den Song verstehen.

Song Dubbing ist für Plattenlabels und ihre Künstler gedacht, Album für Album, die Musikvideos gleich mit (Song Dubbing). Wer ein Album in neue Sprachen bringen will, schreibt dem Team.

SYNCHRONISIEREN STATT GENERIERENVON MENSCH ZU MENSCH

FRAGEN

Ist Song Dubbing KI-Musikgenerierung?

Nein. Es macht keinen neuen Song und keine neue Stimme; es trägt eine bestehende Aufnahme in eine andere Sprache, mit der Stimme desselben Sängers.

Muss der Sänger den Song neu einsingen?

Nein. Mit Song Dubbing wird nichts neu eingesungen: Die Original-Performance wird übertragen, und deshalb nennt Familiar Labs es die erste echte Song-Synchronisation.

Wer gibt die übersetzten Songtexte frei?

Der Künstler oder sein Team gibt jede Zeile in jeder Sprache frei, bevor irgendetwas erscheint.

QUELLEN

  1. [1]Song Dubbing
  2. [2]Von Mensch zu Mensch, nicht von KI zu KI

Multimodale Übersetzung

Familiar Labs entwickelt Synchronisation einer neuen Generation, mit einem multimodalen Foundation Model für die Lokalisierung (MLFM), dem ersten Foundation Model für multimodale Übersetzung: Ein Modell entscheidet, was über Text, Ton und Bild hinweg lokalisiert wird, und zeigt Ihnen die Optionen. Ihre Stimme und Ihre Lippen, übertragen in neue Sprachen. Ein Team von 7 mit PhDs, unterstützt von Samsung, RedBird und Gold House. Unsere Mission

UNTERSTÜTZT VON

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo