TRIBUNE

Tout l'inverse de la génération de musique par IA

Pourquoi le chanteur reste le chanteur.

FAMILIAR LABS RECHERCHETOUS LES ARTICLES

RÉSUMÉ

Nous sommes tout l'inverse de la génération de musique par IA. Nous refusons de remplacer les humains. Song Dubbing porte la chanson que vous connaissez dans une autre langue, avec la voix du même chanteur ; seule la langue change. Voilà à quoi l'IA devrait servir : permettre à ma mère de comprendre, elle aussi, mes chansons préférées.

Les chansons de ma mère

Ma mère me chante ses chansons, et je ne les comprends pas.

Je comprends un peu le mandarin, mais chanté, le vers est passé avant que je l'attrape. Et j'aimerais qu'elle comprenne mes chansons préférées.

Les paroles, c'est ce qui nous échappe

Nous voulons tous comprendre les paroles que nous écoutons.

Je suis audiophile, et je joue du piano, du violoncelle et de la guitare basse. Dans une autre langue, les paroles sont la seule chose d'un enregistrement qui m'échappe, et les comprendre peut transformer un vers fredonné pendant des années en aveu ou en adieu.

Toute l'équipe adore le karaoké, et personne ne va au karaoké pour entendre une machine chanter. Apprenez qu'aucun humain n'a chanté une chanson que vous aimiez et vous l'aimerez moins, et c'est normal (pourquoi je crois que les interprètes resteront humains).

Le chanteur reste le chanteur

GÉNÉRER

  • Une nouvelle chanson et une nouvelle voix, créées à partir d'un prompt.
  • Elle a sa place là où personne n'écoute vraiment : une pub, la musique d'un magasin.

DOUBLER

  • La chanson que vous connaissez, le même chanteur, le même enregistrement.
  • La voix, le phrasé, le souffle et l'émotion restent ; les paroles changent de langue.

Une chanson est une performance tirée d'une vie vécue ; remplacez le chanteur, et c'est une autre chanson. L'artiste valide chaque vers avant toute sortie.

Ce à quoi l'IA devrait servir

Doubler, pas générer.

Jusqu'ici, une chanson ne passait dans une autre langue qu'en étant chantée de nouveau : par l'artiste, par un autre chanteur ou par une nouvelle voix créée pour l'occasion. Avec Song Dubbing, rien n'est rechanté ; la performance originale passe telle quelle, et dans le clip, les lèvres suivent les nouvelles paroles. C'est le premier véritable doublage de chansons.

Nous avons construit le modèle de fondation multimodal pour la localisation (MLFM) pour garder une personne entière dans une autre langue, et un vers chanté est la version la plus difficile de ce travail. En tant que musicien, j'écoute les rimes multisyllabiques et les rimes internes, le sens, le genre, le rythme : si le nouveau vers ne se pose pas sur le beat là où se posait l'ancien, c'est le mauvais vers.

Des gens de toutes les cultures, reliés

++

Nous aimons comprendre la chanson.

Song Dubbing s'adresse aux maisons de disques et à leurs artistes, album par album, clips compris (Song Dubbing). Pour porter un album dans de nouvelles langues, écrivez à l'équipe.

DOUBLER, PAS GÉNÉRERD'HUMAIN À HUMAIN

QUESTIONS

Song Dubbing, est-ce de la génération de musique par IA ?

Non. Il ne crée ni nouvelle chanson ni nouvelle voix ; il porte un enregistrement existant dans une autre langue, avec la voix du même chanteur.

Le chanteur doit-il rechanter ?

Non. Avec Song Dubbing, rien n'est rechanté : la performance originale passe telle quelle, et c'est pourquoi Familiar Labs parle du premier véritable doublage de chansons.

Qui valide les paroles traduites ?

L'artiste ou son équipe valide chaque vers dans chaque langue avant la sortie.

RÉFÉRENCES

  1. [1]Song Dubbing
  2. [2]D'humain à humain, pas d'IA à IA

Traduction multimodale

Familiar Labs conçoit un doublage d'une génération d'avance grâce à un modèle de fondation multimodal pour la localisation (MLFM), le premier modèle de fondation pour la traduction multimodale : un seul modèle décide ce qu'il faut localiser dans le texte, le son et l'image, et vous montre les choix. Votre voix et vos lèvres, portées dans de nouvelles langues. Une équipe de 7 personnes, dont des docteurs, soutenue par Samsung, RedBird et Gold House. Notre mission

SOUTENU PAR

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo