RÉSUMÉ
Les chansons de ma mère
Ma mère me chante ses chansons, et je ne les comprends pas.
Je comprends un peu le mandarin, mais chanté, le vers est passé avant que je l'attrape. Et j'aimerais qu'elle comprenne mes chansons préférées.
Les paroles, c'est ce qui nous échappe
Nous voulons tous comprendre les paroles que nous écoutons.
Toute l'équipe adore le karaoké, et personne ne va au karaoké pour entendre une machine chanter. Apprenez qu'aucun humain n'a chanté une chanson que vous aimiez et vous l'aimerez moins, et c'est normal (pourquoi je crois que les interprètes resteront humains).
Le chanteur reste le chanteur
GÉNÉRER
- Une nouvelle chanson et une nouvelle voix, créées à partir d'un prompt.
- Elle a sa place là où personne n'écoute vraiment : une pub, la musique d'un magasin.
DOUBLER
- La chanson que vous connaissez, le même chanteur, le même enregistrement.
- La voix, le phrasé, le souffle et l'émotion restent ; les paroles changent de langue.
Une chanson est une performance tirée d'une vie vécue ; remplacez le chanteur, et c'est une autre chanson. L'artiste valide chaque vers avant toute sortie.
Ce à quoi l'IA devrait servir
Doubler, pas générer.
Jusqu'ici, une chanson ne passait dans une autre langue qu'en étant chantée de nouveau : par l'artiste, par un autre chanteur ou par une nouvelle voix créée pour l'occasion. Avec Song Dubbing, rien n'est rechanté ; la performance originale passe telle quelle, et dans le clip, les lèvres suivent les nouvelles paroles. C'est le premier véritable doublage de chansons.
Nous avons construit le modèle de fondation multimodal pour la localisation (MLFM) pour garder une personne entière dans une autre langue, et un vers chanté est la version la plus difficile de ce travail. En tant que musicien, j'écoute les rimes multisyllabiques et les rimes internes, le sens, le genre, le rythme : si le nouveau vers ne se pose pas sur le beat là où se posait l'ancien, c'est le mauvais vers.
Des gens de toutes les cultures, reliés
Song Dubbing s'adresse aux maisons de disques et à leurs artistes, album par album, clips compris (Song Dubbing). Pour porter un album dans de nouvelles langues, écrivez à l'équipe.
QUESTIONS
Song Dubbing, est-ce de la génération de musique par IA ?
Non. Il ne crée ni nouvelle chanson ni nouvelle voix ; il porte un enregistrement existant dans une autre langue, avec la voix du même chanteur.
Le chanteur doit-il rechanter ?
Non. Avec Song Dubbing, rien n'est rechanté : la performance originale passe telle quelle, et c'est pourquoi Familiar Labs parle du premier véritable doublage de chansons.
Qui valide les paroles traduites ?
L'artiste ou son équipe valide chaque vers dans chaque langue avant la sortie.
RÉFÉRENCES
Traduction multimodale
Familiar Labs conçoit un doublage d'une génération d'avance grâce à un modèle de fondation multimodal pour la localisation (MLFM), le premier modèle de fondation pour la traduction multimodale : un seul modèle décide ce qu'il faut localiser dans le texte, le son et l'image, et vous montre les choix. Votre voix et vos lèvres, portées dans de nouvelles langues. Une équipe de 7 personnes, dont des docteurs, soutenue par Samsung, RedBird et Gold House. Notre mission
SOUTENU PAR
Stanford
Yonsei



