RESUMO
As músicas da minha mãe
Minha mãe canta as músicas dela para mim, e eu não consigo entender.
Eu entendo um pouco de mandarim, mas cantado, o verso já passou antes de eu pegar. E eu quero que ela entenda as minhas músicas favoritas.
A letra é a parte que a gente perde
Todo mundo quer entender a letra do que escuta.
A equipe inteira adora karaokê, e ninguém vai ao karaokê para ouvir uma máquina cantar. Descubra que nenhum humano cantou uma música de que você gostava e você passa a gostar menos, como deve ser (por que acredito que os artistas vão continuar humanos).
Quem canta continua sendo quem canta
GERAR
- Uma música nova e uma voz nova, feitas a partir de um prompt.
- Tem o seu lugar onde ninguém presta muita atenção: num anúncio, no som ambiente de uma loja.
DUBLAR
- A música que você conhece, o mesmo cantor, a mesma gravação.
- A voz, o fraseado, a respiração e a emoção ficam; a letra muda de língua.
Uma música é uma performance tirada de uma vida vivida; troque o cantor e já é outra música. O artista aprova cada verso antes de qualquer lançamento.
Para que a IA deveria servir
Dublar, não gerar.
Até agora, uma música só chegava a outra língua sendo cantada de novo: pelo artista, por outro cantor ou por um novo vocal feito para isso. Com o Song Dubbing, nada é cantado de novo; a performance original vai junto, e os lábios no videoclipe acompanham a nova letra. Essa é a primeira dublagem de músicas de verdade.
Construímos o Modelo de Fundação para Localização Multimodal (MLFM) para manter uma pessoa inteira em outra língua, e um verso cantado é a versão mais difícil desse trabalho. Como músico, eu escuto as rimas multissilábicas e internas, o sentido, o gênero, o ritmo: se o verso novo não encaixa na batida onde o antigo encaixava, é o verso errado.
Pessoas de culturas diferentes, conectadas
O Song Dubbing é para gravadoras e seus artistas, álbum por álbum, com os videoclipes incluídos (Song Dubbing). Para levar um álbum a novas línguas, escreva para a equipe.
PERGUNTAS
O Song Dubbing é geração de música por IA?
Não. Ele não faz música nova nem voz nova; leva uma gravação que já existe para outra língua na voz do mesmo cantor.
O cantor precisa cantar de novo?
Não. Com o Song Dubbing, nada é cantado de novo: a performance original vai junto, e é por isso que a Familiar Labs o chama de primeira dublagem de músicas de verdade.
Quem aprova as letras traduzidas?
O artista ou a equipe dele aprova cada verso em cada língua antes do lançamento.
REFERÊNCIAS
TRADUÇÃO MULTIMODAL
A Familiar Labs faz dublagem uma geração à frente com um Modelo de Fundação para Localização Multimodal (MLFM), o primeiro modelo de fundação para tradução multimodal: um só modelo decide o que localizar em texto, áudio e imagem, e mostra para você as escolhas. Sua voz e seus lábios, levados para novas línguas. Uma equipe de 7, com doutores, investida por Samsung, RedBird e Gold House. Nossa missão
INVESTIDA POR
Stanford
Yonsei



