摘要
妈妈的歌
我妈妈常唱她喜欢的歌给我听,可我听不懂。
我能听懂一些普通话,可歌一唱起来,还没等我听清,那一句就过去了。我也希望她能听懂我最爱的歌。
我们错过的,是歌词
我们都想听懂自己听的每一句歌词。
整个团队都爱唱 K,没有人去 KTV 是为了听机器唱歌。得知一首喜欢的歌没有人唱过,你就没那么喜欢它了,本该如此(我为什么相信表演者仍会是人)。
歌手,始终还是那位歌手
生成
- 根据提示词,做出一首新歌、一个新声音。
- 放在没人细听的地方,自有它的用处:一段广告,商场里的背景音乐。
配音
- 你熟悉的那首歌,同一位歌手,同一段录音。
- 声音、乐句、换气和情绪都不变;歌词被带进新的语言。
一首歌,是从真实人生里唱出来的表演;换掉歌手,就成了另一首歌。每一句,都要先经艺人认可,才会发布。
AI 该用在什么地方
是配音,不是生成。
在此之前,一首歌要唱进另一种语言,只能重新唱一遍:由艺人本人、另一位歌手,或为它另做的一段人声来唱。有了歌曲配音,一句都不用重唱。原本的演唱原样带过去,MV 里的口型也跟着新歌词走。这就是首个真正意义上的歌曲配音。
我们打造多模态本地化基础模型(MLFM),是为了让一个人在另一种语言里依然完整;唱出来的一句,是这份工作里最难的版本。作为一个音乐人,我听的是多押和句中韵,是原意、曲风和节奏:新的一句要是卡不进原来那句卡着的律动里,那就是错的一句。
跨越文化,彼此相连
歌曲配音面向唱片公司和旗下艺人,一张专辑一张专辑地做,MV 也一并配音(歌曲配音)。想把一张专辑带进新的语言,给团队发邮件。
常见问题
歌曲配音是 AI 音乐生成吗?
不是。它不做新歌,也不造新声音;它用同一位歌手的声音,把已有的录音带进另一种语言。
歌手需要重新唱一遍吗?
不用。有了歌曲配音,一句都不用重唱:原本的演唱原样带过去,所以 Familiar Labs 称它为首个真正意义上的歌曲配音。
译好的歌词由谁认可?
艺人或其团队会在发布前,逐种语言认可每一句。
参考资料
- [1]歌曲配音
- [2]从人到人,不是从 AI 到 AI
多模态翻译
Familiar Labs 用多模态本地化基础模型(MLFM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队7人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命
投资方
Stanford
Yonsei



