OPINIÓN

Lo opuesto a la generación de música con IA

Por qué el cantante sigue siendo el cantante.

FAMILIAR LABS INVESTIGACIÓNTODOS LOS ARTÍCULOS

RESUMEN

Somos lo opuesto a la generación de música con IA. Nos oponemos a reemplazar a las personas. Song Dubbing lleva la canción que conoces a otro idioma con la voz del mismo cantante; solo cambia el idioma. Para esto debería usarse la IA: para que mi mamá también entienda mis canciones favoritas.

Las canciones de mi mamá

Mi mamá me canta sus canciones, y no las entiendo.

Entiendo algo de mandarín, pero cantado, el verso se va antes de que lo atrape. Y yo quiero que ella entienda mis canciones favoritas.

La letra es lo que nos perdemos

Todos queremos entender la letra de lo que escuchamos.

Soy audiófilo y toco piano, chelo y bajo. La letra es lo único de una grabación que me pierdo en otro idioma, y entenderla puede convertir un verso que tarareaste durante años en una confesión o una despedida.

A todo el equipo le encanta el karaoke, y nadie va al karaoke a oír cantar a una máquina. Si te enteras de que ningún humano cantó una canción que te gustó, te gusta menos, como debe ser (por qué creo que los intérpretes seguirán siendo humanos).

El cantante sigue siendo el cantante

GENERAR

  • Una canción nueva y una voz nueva, hechas a partir de un prompt.
  • Tiene su lugar donde nadie escucha con atención: un anuncio, la música de una tienda.

DOBLAR

  • La canción que conoces, el mismo cantante, la misma grabación.
  • La voz, el fraseo, la respiración y la emoción se quedan; la letra pasa al nuevo idioma.

Una canción es una interpretación que nace de una vida vivida; si reemplazas al cantante, es otra canción. El artista aprueba cada verso antes de que se lance nada.

Para qué debería usarse la IA

Doblar, no generar.

Hasta ahora, una canción solo pasaba a otro idioma si alguien volvía a cantarla: el artista, otro cantante o una voz nueva hecha para ella. Con Song Dubbing no se vuelve a cantar nada; la interpretación original pasa tal cual, y los labios del video musical siguen la nueva letra. Eso es el primer verdadero doblaje de canciones.

Construimos el modelo fundacional de localización multimodal (MLFM) para conservar entera a una persona en otro idioma, y una línea cantada es la versión más difícil de ese trabajo. Como músico, escucho las rimas multisilábicas e internas, el sentido, el género, el ritmo: si el verso nuevo no cae en el beat donde caía el viejo, es el verso equivocado.

Gente de culturas distintas, conectada

++

Nos gusta entender la canción.

Song Dubbing es para sellos discográficos y sus artistas, álbum por álbum, con los videos musicales incluidos (Song Dubbing). Para llevar un álbum a nuevos idiomas, escríbele al equipo.

DOBLAR, NO GENERARDE PERSONA A PERSONA

PREGUNTAS

¿Song Dubbing es generación de música con IA?

No. No hace una canción nueva ni una voz nueva; lleva una grabación que ya existe a otro idioma con la voz del mismo cantante.

¿El cantante tiene que volver a cantarla?

No. Con Song Dubbing no se vuelve a cantar nada: la interpretación original pasa tal cual, y por eso Familiar Labs lo llama el primer verdadero doblaje de canciones.

¿Quién aprueba las letras traducidas?

El artista o su equipo aprueba cada verso en cada idioma antes del lanzamiento.

REFERENCIAS

  1. [1]Song Dubbing
  2. [2]De persona a persona, no de IA a IA

Traducción multimodal

Familiar Labs hace un doblaje de otra generación con un modelo fundacional de localización multimodal (MLFM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 7 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión

CON EL RESPALDO DE

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo