观点

站在 AI 音乐生成的对立面

为什么歌手始终还是那位歌手。

FAMILIAR LABS 研究全部文章

摘要

我们和 AI 音乐生成恰恰相反。我们反对取代人。歌曲配音(Song Dubbing)用同一位歌手的声音,把你熟悉的那首歌带进另一种语言,变的只有语言。AI 就该用在这样的地方:让我妈妈也能听懂我最爱的歌。

妈妈的歌

我妈妈常唱她喜欢的歌给我听,可我听不懂。

我能听懂一些普通话,可歌一唱起来,还没等我听清,那一句就过去了。我也希望她能听懂我最爱的歌。

我们错过的,是歌词

我们都想听懂自己听的每一句歌词。

我是个音响发烧友,会弹钢琴、拉大提琴,也弹贝斯。换成另一种语言,一段录音里我唯一错过的就是歌词。听懂了,你哼了好多年的那一句,可能原来是一段告白,或是一句告别。

整个团队都爱唱 K,没有人去 KTV 是为了听机器唱歌。得知一首喜欢的歌没有人唱过,你就没那么喜欢它了,本该如此(我为什么相信表演者仍会是人)。

歌手,始终还是那位歌手

生成

  • 根据提示词,做出一首新歌、一个新声音。
  • 放在没人细听的地方,自有它的用处:一段广告,商场里的背景音乐。

配音

  • 你熟悉的那首歌,同一位歌手,同一段录音。
  • 声音、乐句、换气和情绪都不变;歌词被带进新的语言。

一首歌,是从真实人生里唱出来的表演;换掉歌手,就成了另一首歌。每一句,都要先经艺人认可,才会发布。

AI 该用在什么地方

是配音,不是生成。

在此之前,一首歌要唱进另一种语言,只能重新唱一遍:由艺人本人、另一位歌手,或为它另做的一段人声来唱。有了歌曲配音,一句都不用重唱。原本的演唱原样带过去,MV 里的口型也跟着新歌词走。这就是首个真正意义上的歌曲配音。

我们打造多模态本地化基础模型(MLFM),是为了让一个人在另一种语言里依然完整;唱出来的一句,是这份工作里最难的版本。作为一个音乐人,我听的是多押和句中韵,是原意、曲风和节奏:新的一句要是卡不进原来那句卡着的律动里,那就是错的一句。

跨越文化,彼此相连

++

我们喜欢听懂一首歌。

歌曲配音面向唱片公司和旗下艺人,一张专辑一张专辑地做,MV 也一并配音(歌曲配音)。想把一张专辑带进新的语言,给团队发邮件。

是配音,不是生成从人到人

常见问题

歌曲配音是 AI 音乐生成吗?

不是。它不做新歌,也不造新声音;它用同一位歌手的声音,把已有的录音带进另一种语言。

歌手需要重新唱一遍吗?

不用。有了歌曲配音,一句都不用重唱:原本的演唱原样带过去,所以 Familiar Labs 称它为首个真正意义上的歌曲配音。

译好的歌词由谁认可?

艺人或其团队会在发布前,逐种语言认可每一句。

参考资料

  1. [1]歌曲配音
  2. [2]从人到人,不是从 AI 到 AI

多模态翻译

Familiar Labs 用多模态本地化基础模型(MLFM),让配音迎来代际飞跃。这是首个多模态翻译基础模型:一个模型决定本地化什么,覆盖文本、音频和画面,并把选择摆到你面前。你的声音与口型,带进新的语言。团队7人,汇聚多位博士;投资方包括 Samsung、RedBird、Gold House。 我们的使命

投资方

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo