RESUMEN
Las canciones de mi mamá
Mi mamá me canta sus canciones, y no las entiendo.
Entiendo algo de mandarín, pero cantado, el verso se va antes de que lo atrape. Y yo quiero que ella entienda mis canciones favoritas.
La letra es lo que nos perdemos
Todos queremos entender la letra de lo que escuchamos.
A todo el equipo le encanta el karaoke, y nadie va al karaoke a oír cantar a una máquina. Si te enteras de que ningún humano cantó una canción que te gustó, te gusta menos, como debe ser (por qué creo que los intérpretes seguirán siendo humanos).
El cantante sigue siendo el cantante
GENERAR
- Una canción nueva y una voz nueva, hechas a partir de un prompt.
- Tiene su lugar donde nadie escucha con atención: un anuncio, la música de una tienda.
DOBLAR
- La canción que conoces, el mismo cantante, la misma grabación.
- La voz, el fraseo, la respiración y la emoción se quedan; la letra pasa al nuevo idioma.
Una canción es una interpretación que nace de una vida vivida; si reemplazas al cantante, es otra canción. El artista aprueba cada verso antes de que se lance nada.
Para qué debería usarse la IA
Doblar, no generar.
Hasta ahora, una canción solo pasaba a otro idioma si alguien volvía a cantarla: el artista, otro cantante o una voz nueva hecha para ella. Con Song Dubbing no se vuelve a cantar nada; la interpretación original pasa tal cual, y los labios del video musical siguen la nueva letra. Eso es el primer verdadero doblaje de canciones.
Construimos el modelo fundacional de localización multimodal (MLFM) para conservar entera a una persona en otro idioma, y una línea cantada es la versión más difícil de ese trabajo. Como músico, escucho las rimas multisilábicas e internas, el sentido, el género, el ritmo: si el verso nuevo no cae en el beat donde caía el viejo, es el verso equivocado.
Gente de culturas distintas, conectada
Song Dubbing es para sellos discográficos y sus artistas, álbum por álbum, con los videos musicales incluidos (Song Dubbing). Para llevar un álbum a nuevos idiomas, escríbele al equipo.
PREGUNTAS
¿Song Dubbing es generación de música con IA?
No. No hace una canción nueva ni una voz nueva; lleva una grabación que ya existe a otro idioma con la voz del mismo cantante.
¿El cantante tiene que volver a cantarla?
No. Con Song Dubbing no se vuelve a cantar nada: la interpretación original pasa tal cual, y por eso Familiar Labs lo llama el primer verdadero doblaje de canciones.
¿Quién aprueba las letras traducidas?
El artista o su equipo aprueba cada verso en cada idioma antes del lanzamiento.
REFERENCIAS
Traducción multimodal
Familiar Labs hace un doblaje de otra generación con un modelo fundacional de localización multimodal (MLFM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 7 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión
CON EL RESPALDO DE
Stanford
Yonsei



