要旨
母の歌
母は私に歌を歌ってくれます。でも私には、その歌が分かりません。
中国語は少し分かります。けれど歌になると、聞き取る前にその一節は過ぎ去っています。そして私も、自分の好きな曲を母に分かってほしいのです。
取りこぼしているのは、言葉
誰だって、聴いている歌の歌詞を理解したい。
チームのみんなはカラオケが大好きで、機械の歌を聴きにカラオケへ行く人はいません。好きだった歌を人が歌っていないと知れば、前ほど好きではなくなる。それで当然です(演じ手が人であり続けると私が考える理由)。
歌い手は、本人のまま
生成
- プロンプトから作られる、新しい曲と新しい声。
- 誰もじっくり聴かない場所に出番がある。広告や、お店のBGMのように。
吹き替え
- よく知っているあの歌、同じ歌い手、同じ録音。
- 声も、歌い回しも、息づかいも、感情も残り、歌詞が新しい言語へ運ばれる。
歌は、その人が生きてきた人生から生まれるパフォーマンスです。歌い手を置き換えれば、それは別の歌になります。何かをリリースする前に、アーティストがすべての行を承認します。
AIを、何に使うべきか
生成ではなく、吹き替え。
これまで歌が別の言語に届くのは、歌い直したときだけでした。アーティスト本人か、別の歌い手か、そのために作られた新しいボーカルか。Song Dubbingでは、歌い直しは一切ありません。元のパフォーマンスがそのまま運ばれ、ミュージックビデオの口元も新しい歌詞に合わせて動きます。それが、本当の意味で初めての歌の吹き替えです。
私たちがマルチモーダル・ローカライゼーション基盤モデル(MLFM)を作ったのは、別の言語でも人をまるごと保つためです。歌の一節は、その仕事のいちばん難しい形です。ミュージシャンとして私が耳を澄ませるのは、多音節の韻と中間韻、意味、ジャンル、そしてリズム。新しい一節が、元の一節と同じようにビートにハマっていなければ、それは違う一節なんです。
文化を越えて、人と人がつながる
Song Dubbingは、レコードレーベルとそのアーティストのためのもので、アルバム単位で、ミュージックビデオもあわせて吹き替えます(Song Dubbing)。アルバムを新しい言語へ届けたいなら、チームにメールしてください。
よくある質問
Song Dubbingは音楽生成AIですか?
いいえ。新しい曲も新しい声も作りません。すでにある録音を、同じ歌い手の声のまま別の言語へ運びます。
歌い手は歌い直さなければならないのですか?
いいえ。Song Dubbingでは歌い直しは一切なく、元のパフォーマンスがそのまま運ばれます。だからFamiliar Labsは、これを本当の意味で初めての歌の吹き替えと呼んでいます。
翻訳した歌詞は誰が承認しますか?
リリースの前に、アーティスト本人かそのチームが、すべての言語のすべての行を承認します。
参考資料
マルチモーダル翻訳
Familiar Labsは、マルチモーダル・ローカライゼーション基盤モデル(MLFM)で次世代の吹き替えを手がけています。MLFMは、マルチモーダル翻訳のための初の基盤モデルです。テキスト、音声、映像のすべてにわたって何をローカライズするかをひとつのモデルが判断し、選択肢をあなたに示します。あなたの声と口元を、新しい言語へ。博士を擁する7人のチームを、Samsung、RedBird、Gold Houseが支援しています。 私たちのミッション
出資元
Stanford
Yonsei



