RESUMEN
¿Qué es un modelo fundacional de traducción multimodal?
Un solo modelo que lleva las palabras, la voz, los labios y la escena a un nuevo idioma, todo a la vez.
Un video dice más que sus palabras. La voz de quien habla, cómo se mueve su boca, las risas en la sala y la música bajo una escena también tienen significado. Traducir bien un video es llevarlo todo al otro lado y que todo encaje: la línea tiene que ajustarse a la boca, la voz tiene que sonar dentro de la escena y la persona en pantalla tiene que seguir siendo exactamente quien es.
Un modelo fundacional de traducción multimodal es un solo modelo que hace todo ese trabajo. Toma el metraje como una sola cosa y decide cómo debe llegar cada parte al nuevo idioma. Familiar construyó el primero y lo llama MLDM.
¿Por qué el doblaje pasaba hasta ahora por herramientas separadas?
El doblaje humano siempre ha estado fuera del alcance de la mayor parte del mundo. Incluso las grandes producciones doblan a pocos idiomas por el costo, las personas y el tiempo que exige; las producciones más pequeñas, los programas y los microdramas verticales directamente no se doblan. Un doblaje humano completo, traducción más voz, cuesta entre $70 y $150 por minuto terminado.
El doblaje automático empezó como una cadena: transcripción, después traducción, después una voz, después sincronización labial.
¿Qué cambia cuando un solo modelo lo lleva todo a la vez?
LA ERA DE LA CASCADA
- Herramientas separadas, una detrás de otra.
- Cada etapa adivina sin las demás.
- Una voz nueva sobre el rostro original.
EL PRIMER MODELO FUNDACIONAL
- Un solo modelo, un solo conjunto de decisiones.
- La traducción conoce la boca a la que tiene que ajustarse.
- La voz conoce la escena en la que suena.
- La persona nunca cambia.
Llega la interpretación del mismo actor: su propia voz, sus labios moviéndose con las nuevas palabras, sus expresiones y el audio de la escena a su alrededor. Las risas, el público y la música se quedan tal como estaban. Con los mismos clips, YouTube tuvo un 232.6% más de errores en el sonido de fondo que Familiar. Solo en las palabras, la traducción iguala la primera versión del profesional experto: el 100.3% de su calidad. Las cifras completas están en el benchmark.
También cambia el trabajo alrededor de un doblaje. Hoy la vía de alta calidad es asistida: un equipo de artistas de VFX trabaja plano a plano durante semanas, y cada idioma es un proyecto nuevo. Las herramientas de una sola pasada de hoy son rápidas y renuncian a lo demás: la traducción no se puede editar, la música y el ambiente de la sala desaparecen, y los labios fallan en las tomas más comunes, una mano sobre la cara, un micrófono, desenfoque, bokeh, un perfil, varias personas en el encuadre. Sin razonamiento espacial, sin comprensión del mundo. Familiar es una sola pasada y además la calidad: una sola carga lleva un video a todos los idiomas que elijas, a la vez, y las decisiones encajan porque las toma un solo modelo, así que no hay nada que volver a coser a mano.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
¿Qué decide MLDM y qué eliges tú?
El modelo multimodal de decisiones de localización es el modelo en sí. MLDM decide qué localizar y cómo en texto, audio e imagen. La definición completa está en ¿Qué es un modelo multimodal de decisiones de localización (MLDM)?
LO QUE DECIDE Y LO QUE ELIGES
- HOY
Las decisiones de traducción, revisadas por tus directores creativos.
Cada decisión queda registrada con el trabajo. Puedes cambiar cualquiera de ellas. - EN DESARROLLO
Las decisiones de audio e imagen, en la misma revisión.
- EN DESARROLLO
El texto en el encuadre y el doblaje en vivo.
La pantalla de un teléfono o un letrero en la calle, escritos con los términos que ya elegiste; una marca o un nombre se quedan tal como se filmaron, decidido sobre la marcha: una bolsa de Tostitos sigue siendo Tostitos.
El registro de esas elecciones está en El registro de decisiones.
¿Qué gana un estudio con un modelo fundacional?
MLDM para la parte tediosa. Las decisiones creativas siguen en manos de quienes hicieron la obra; el modelo lleva el resto a todos los idiomas a la vez.
IDIOMAS
30 de salida, 99 de entrada
Doblajes en 30 idiomas, a partir de metraje en cualquiera de 99 idiomas de origen.
EL VIDEO TERMINADO
Hasta 4K
LA MEZCLA COMPLETA
Sonido envolvente 5.1 real o estéreo
Tú eliges, en PCM de 24 bits.
SUBTÍTULOS
.srt y .vtt
Cortados según las convenciones de la Timed Text Style Guide de Netflix, el estándar de plantillas de subtítulos con el que trabaja la industria.
INFERENCIA PRIVADA
Toronto, Canadá
Un clúster propio de ocho cifras con GPU NVIDIA B300, nunca una nube pública.
Cada doblaje se procesa en ese clúster, nunca con un proveedor de inferencia externo, así que tu material nunca se filtra. Los detalles están en la documentación de inferencia privada y en la documentación de archivos de salida. Detrás hay doctores que iniciaron el campo de los modelos audiovisuales conjuntos de personas: 22 artículos, más de 10,000 citas, con el Prof. Xu Zheng y el Prof. Youngjung Uh como asesores, y con el respaldo de Samsung, RedBird y Gold House. Los artículos están en nuestra investigación.
¿Un modelo fundacional de traducción es IA generativa?
No en el sentido tradicional. IBM define así la IA generativa:
La IA generativa, a veces llamada IA gen, es una inteligencia artificial (IA) que puede crear contenido original, como texto, imágenes, video, audio o código de software, en respuesta a la instrucción o solicitud de un usuario.
Es una herramienta potente para crear cosas nuevas. MLDM no tiene prompt y no se inventa nada nuevo: lleva lo que ya está ahí a otro idioma. No es «IA generativa», sino traducción al servicio de los creativos. De persona a persona, llegando más lejos.
Los otros artículos de esta serie: Traducción audiovisual de una vez, no en cascada, Qué significa un modelo fundacional de traducción multimodal para estudios y plataformas y Pioneros de la traducción multimodal.
PREGUNTAS
¿Qué es un modelo fundacional de traducción multimodal?
Un solo modelo que lleva las palabras, la voz, los labios y la escena de un video a un nuevo idioma, todo a la vez. El modelo multimodal de decisiones de localización (MLDM) de Familiar es el primero de su tipo: las decisiones encajan porque las toma un solo modelo, y la persona en pantalla nunca cambia.
¿En qué se diferencia del doblaje automático hasta ahora?
El doblaje automático hasta ahora era una cadena de herramientas separadas: transcripción, después traducción, después una voz, después sincronización labial, cada una adivinando sin las demás. MLDM toma las decisiones en conjunto. Primero la traducción; después, el doblaje en una sola pasada: la voz, los labios y la escena juntos.
¿Un modelo fundacional de traducción multimodal es IA generativa?
No en el sentido tradicional. No hay prompt y no se inventa nada nuevo: MLDM decide cómo localizar metraje que ya existe. La IA generativa es una herramienta potente para crear cosas nuevas; esto es traducción al servicio de los creativos, de persona a persona, llegando más lejos.
¿Puedo revisar lo que decidió el modelo?
Sí. Cada decisión queda registrada con el trabajo y puedes cambiar cualquiera de ellas. Hoy tus directores creativos eligen entre las versiones de la traducción, cada una con su porqué. Las opciones de audio e imagen están en desarrollo.
¿Qué idiomas cubre?
Los doblajes salen en 30 idiomas, a partir de metraje en cualquiera de 99 idiomas de origen. Una sola carga lleva un video a todos los idiomas que elijas, entregado en hasta 4K con una mezcla 5.1 real o estéreo.
¿Dónde se procesa mi metraje?
En el propio clúster de ocho cifras de Familiar, con GPU NVIDIA B300, en Toronto, Canadá: inferencia privada, nunca en una nube pública ni con un proveedor de inferencia externo, así que tu material nunca se filtra.
REFERENCIAS
Traducción multimodal
Familiar Labs hace un doblaje de otra generación con un modelo multimodal de decisiones de localización (MLDM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 8 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión