オピニオン

音楽生成AIの、正反対

歌い手が、本人のままである理由。

FAMILIAR LABS 研究記事一覧

要旨

私たちは、音楽生成AIの正反対にいます。人を置き換えることに反対します。Song Dubbingは、よく知っているあの歌を、同じ歌い手の声のまま別の言語へ運びます。変わるのは言語だけ。AIは、こういうことにこそ使うべきです。私の好きな曲を、母にも分かってもらうために。

母の歌

母は私に歌を歌ってくれます。でも私には、その歌が分かりません。

中国語は少し分かります。けれど歌になると、聞き取る前にその一節は過ぎ去っています。そして私も、自分の好きな曲を母に分かってほしいのです。

取りこぼしているのは、言葉

誰だって、聴いている歌の歌詞を理解したい。

私はオーディオマニアで、ピアノとチェロとベースを弾きます。別の言語の録音で取りこぼすのは、歌詞だけです。意味が分かれば、何年も口ずさんできた一節が、告白や別れの言葉に変わることもあります。

チームのみんなはカラオケが大好きで、機械の歌を聴きにカラオケへ行く人はいません。好きだった歌を人が歌っていないと知れば、前ほど好きではなくなる。それで当然です(演じ手が人であり続けると私が考える理由)。

歌い手は、本人のまま

生成

  • プロンプトから作られる、新しい曲と新しい声。
  • 誰もじっくり聴かない場所に出番がある。広告や、お店のBGMのように。

吹き替え

  • よく知っているあの歌、同じ歌い手、同じ録音。
  • 声も、歌い回しも、息づかいも、感情も残り、歌詞が新しい言語へ運ばれる。

歌は、その人が生きてきた人生から生まれるパフォーマンスです。歌い手を置き換えれば、それは別の歌になります。何かをリリースする前に、アーティストがすべての行を承認します。

AIを、何に使うべきか

生成ではなく、吹き替え。

これまで歌が別の言語に届くのは、歌い直したときだけでした。アーティスト本人か、別の歌い手か、そのために作られた新しいボーカルか。Song Dubbingでは、歌い直しは一切ありません。元のパフォーマンスがそのまま運ばれ、ミュージックビデオの口元も新しい歌詞に合わせて動きます。それが、本当の意味で初めての歌の吹き替えです。

私たちがマルチモーダル・ローカライゼーション基盤モデル(MLFM)を作ったのは、別の言語でも人をまるごと保つためです。歌の一節は、その仕事のいちばん難しい形です。ミュージシャンとして私が耳を澄ませるのは、多音節の韻と中間韻、意味、ジャンル、そしてリズム。新しい一節が、元の一節と同じようにビートにハマっていなければ、それは違う一節なんです。

文化を越えて、人と人がつながる

++

私たちは、歌を理解するのが好きなんです。

Song Dubbingは、レコードレーベルとそのアーティストのためのもので、アルバム単位で、ミュージックビデオもあわせて吹き替えます(Song Dubbing)。アルバムを新しい言語へ届けたいなら、チームにメールしてください。

生成ではなく、吹き替え人から人へ

よくある質問

Song Dubbingは音楽生成AIですか?

いいえ。新しい曲も新しい声も作りません。すでにある録音を、同じ歌い手の声のまま別の言語へ運びます。

歌い手は歌い直さなければならないのですか?

いいえ。Song Dubbingでは歌い直しは一切なく、元のパフォーマンスがそのまま運ばれます。だからFamiliar Labsは、これを本当の意味で初めての歌の吹き替えと呼んでいます。

翻訳した歌詞は誰が承認しますか?

リリースの前に、アーティスト本人かそのチームが、すべての言語のすべての行を承認します。

参考資料

  1. [1]Song Dubbing
  2. [2]人から人へ、AIからAIへではなく

マルチモーダル翻訳

Familiar Labsは、マルチモーダル・ローカライゼーション基盤モデル(MLFM)で次世代の吹き替えを手がけています。MLFMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する7人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション

出資元

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo