OPINIÃO

O oposto da geração de música por IA

Por que quem canta continua sendo quem canta.

FAMILIAR LABS PESQUISATODOS OS ARTIGOS

RESUMO

Somos o oposto da geração de música por IA. Somos contra substituir os humanos. O Song Dubbing leva a música que você conhece para outra língua na voz do mesmo cantor; só a língua muda. É para isso que a IA deveria servir: para que a minha mãe também entenda as minhas músicas favoritas.

As músicas da minha mãe

Minha mãe canta as músicas dela para mim, e eu não consigo entender.

Eu entendo um pouco de mandarim, mas cantado, o verso já passou antes de eu pegar. E eu quero que ela entenda as minhas músicas favoritas.

A letra é a parte que a gente perde

Todo mundo quer entender a letra do que escuta.

Sou audiófilo e toco piano, violoncelo e baixo. A letra é a única parte de uma gravação que eu perco em outra língua, e entendê-la pode transformar o verso que você cantarolou por anos numa confissão ou numa despedida.

A equipe inteira adora karaokê, e ninguém vai ao karaokê para ouvir uma máquina cantar. Descubra que nenhum humano cantou uma música de que você gostava e você passa a gostar menos, como deve ser (por que acredito que os artistas vão continuar humanos).

Quem canta continua sendo quem canta

GERAR

  • Uma música nova e uma voz nova, feitas a partir de um prompt.
  • Tem o seu lugar onde ninguém presta muita atenção: num anúncio, no som ambiente de uma loja.

DUBLAR

  • A música que você conhece, o mesmo cantor, a mesma gravação.
  • A voz, o fraseado, a respiração e a emoção ficam; a letra muda de língua.

Uma música é uma performance tirada de uma vida vivida; troque o cantor e já é outra música. O artista aprova cada verso antes de qualquer lançamento.

Para que a IA deveria servir

Dublar, não gerar.

Até agora, uma música só chegava a outra língua sendo cantada de novo: pelo artista, por outro cantor ou por um novo vocal feito para isso. Com o Song Dubbing, nada é cantado de novo; a performance original vai junto, e os lábios no videoclipe acompanham a nova letra. Essa é a primeira dublagem de músicas de verdade.

Construímos o Modelo de Fundação para Localização Multimodal (MLFM) para manter uma pessoa inteira em outra língua, e um verso cantado é a versão mais difícil desse trabalho. Como músico, eu escuto as rimas multissilábicas e internas, o sentido, o gênero, o ritmo: se o verso novo não encaixa na batida onde o antigo encaixava, é o verso errado.

Pessoas de culturas diferentes, conectadas

++

A gente gosta de entender a música.

O Song Dubbing é para gravadoras e seus artistas, álbum por álbum, com os videoclipes incluídos (Song Dubbing). Para levar um álbum a novas línguas, escreva para a equipe.

DUBLAR, NÃO GERARDE PESSOA PARA PESSOA

PERGUNTAS

O Song Dubbing é geração de música por IA?

Não. Ele não faz música nova nem voz nova; leva uma gravação que já existe para outra língua na voz do mesmo cantor.

O cantor precisa cantar de novo?

Não. Com o Song Dubbing, nada é cantado de novo: a performance original vai junto, e é por isso que a Familiar Labs o chama de primeira dublagem de músicas de verdade.

Quem aprova as letras traduzidas?

O artista ou a equipe dele aprova cada verso em cada língua antes do lançamento.

REFERÊNCIAS

  1. [1]Song Dubbing
  2. [2]De pessoa para pessoa, não de IA para IA

TRADUÇÃO MULTIMODAL

A Familiar Labs faz dublagem uma geração à frente com um Modelo de Fundação para Localização Multimodal (MLFM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 7, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão

INVESTIDA POR

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo