RESUMEN
¿Quién inició los modelos audiovisuales conjuntos de personas?
Un doblaje solo se sostiene si la voz y el rostro siguen siendo una misma persona. Los investigadores de Familiar son doctores que iniciaron el campo de los modelos audiovisuales conjuntos de personas: su artículo JAM-Flow, en ECCV 2026, es el primer modelo audiovisual conjunto de personas, que trata la voz y el rostro de quien habla como un solo problema.
ARTÍCULOS
22
todos enlazados en el resumen de investigación
REVISADOS POR PARES
18
en ICLR, CVPR, ICCV, ECCV, NeurIPS, ICML, ACM Multimedia y WACV
CITAS
Más de 10,000
el historial del equipo desde 2021
ASESORES
2
el Prof. Xu Zheng y el Prof. Youngjung Uh
El trabajo cubre las piezas que necesita la traducción multimodal: modelos audiovisuales conjuntos de personas, modelos de video rápidos, edición y percepción multimodal. Cada artículo y cada congreso están en nuestro resumen de investigación. La razón es personal: de niño, An Zhu Liu, el CEO, no podía hablar inglés con sus compañeros de clase y lo aprendió viendo la televisión, una historia contada en nuestra página de misión.
¿Por qué el doblaje pasaba por herramientas separadas?
Porque cada pieza se resolvió primero por separado. El doblaje automático llegó como una cadena, y esa cadena es lo que lo hizo posible. También le marcó su límite, y las herramientas construidas desde entonces siguen cambiando calidad por tiempo. Las herramientas asistidas alcanzan la calidad con un equipo de artistas de VFX y semanas por proyecto, un proyecto nuevo por idioma. Las herramientas de una sola pasada son rápidas y renuncian a lo demás: sus labios fallan con una mano sobre la cara, un micrófono, desenfoque, bokeh, un perfil o varias personas en el encuadre, sin razonamiento espacial y sin comprensión del mundo. Familiar es una sola pasada y además la calidad.
LA ERA DE LA CASCADA
- Transcripción, después traducción, después una voz, después sincronización labial.
- Cada herramienta adivina sin las demás.
- La voz de un extraño sobre un rostro que ya no coincide.
UN SOLO MODELO FUNDACIONAL
- Las palabras, la voz, los labios y la escena, llevados a la vez.
- La traducción conoce la boca a la que tiene que ajustarse.
- La voz conoce la escena en la que suena.
- La persona nunca cambia.
El contraste paso a paso está en Traducción audiovisual de una vez, no en cascada; la definición, en El primer modelo fundacional de traducción multimodal.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
¿Qué significa ser pionero aquí?
Traducción audiovisual de una vez, no en cascada: la primera de su tipo.
Tres cosas, juntas por primera vez. La primera: el audio y la imagen llevados al nuevo idioma a la vez, por un solo modelo, así que las decisiones encajan: la voz es la del propio actor, los labios siguen las nuevas palabras, y las risas, el público y la música se quedan donde estaban.
La segunda es el orden. Primero la traducción; después, el doblaje en una sola pasada: la voz, los labios y la escena juntos. Las palabras quedan fijadas, y revisadas por tus directores creativos, antes de que se ponga ninguna voz.
La tercera es el registro. Cada decisión que toma el MLDM queda registrada con el trabajo y puedes cambiar cualquiera de ellas. El relato completo está en El registro de decisiones; qué es MLDM, en el artículo de definición.
¿Qué decide el modelo y qué eliges tú?
Un resultado de investigación se convierte en producto cuando las personas que lo usan siguen al mando. MLDM para la parte tediosa. Las decisiones creativas siguen siendo tuyas.
LO QUE DECIDE EL MLDM | LO QUE ELIGES TÚ
¿Qué sigue en desarrollo?
Ser pionero significa la primera versión, no la última. Las opciones de traducción están abiertas hoy; el resto del registro se abre por etapas.
- HOY
Tus directores creativos revisan las decisiones de traducción.
Las versiones con el porqué de cada una; una lista de términos que no se traducen y una frase de contexto acompañan al trabajo. - EN DESARROLLO
Las decisiones de audio e imagen, en la misma revisión.
- EN DESARROLLO
El texto en el encuadre.
La pantalla de un teléfono, la portada de un libro, un letrero en la calle, escritos con los términos que ya elegiste; una marca o un nombre se quedan tal como se filmaron, decidido sobre la marcha: una bolsa de Tostitos sigue siendo Tostitos. - EN DESARROLLO
Doblaje en vivo.
¿Qué cambia para las personas en pantalla?
El doblaje humano está fuera del alcance de la mayor parte del mundo. Incluso las grandes producciones doblan a pocos idiomas por el costo, las personas y el tiempo que exige; las producciones más pequeñas, los programas y los microdramas verticales casi nunca se doblan. Un modelo fundacional de traducción multimodal les da a todos la misma interpretación en otro idioma: la voz, los labios y las expresiones del actor en 30 idiomas, entregados en hasta 4K con una mezcla de sonido envolvente 5.1 real o estéreo en PCM de 24 bits (los archivos de salida).
La traducción alcanza el 100.3% de la calidad de la traducción humana experta: la iguala; los estudios están en /benchmark. No es «IA generativa», sino traducción al servicio de los creativos. De persona a persona, llegando más lejos. Lo que significa para un catálogo está en el artículo para estudios y plataformas.
PREGUNTAS
¿Quién construyó el modelo fundacional de Familiar?
Un equipo de 8 con doctorados que inició el campo de los modelos audiovisuales conjuntos de personas: 22 artículos, 18 de ellos revisados por pares, y más de 10,000 citas. El Prof. Xu Zheng y el Prof. Youngjung Uh son los asesores. Familiar cuenta con el respaldo de Samsung, RedBird y Gold House.
¿Qué es un modelo fundacional de traducción multimodal?
Un solo modelo que lleva las palabras, la voz, los labios y la escena a un nuevo idioma, todo a la vez. El modelo multimodal de decisiones de localización (MLDM) de Familiar es el primero de su tipo: decide qué localizar en texto, audio e imagen, y registra cada decisión con el trabajo.
¿Qué significa "no en cascada"?
El doblaje automático hacía pasar un video por herramientas separadas: transcripción, después traducción, después una voz, después sincronización labial, cada una adivinando sin las demás. Familiar lleva el audio y la imagen al nuevo idioma a la vez, así que las decisiones encajan y la persona nunca cambia.
¿Familiar es IA generativa?
No en el sentido tradicional. No hay prompt y no se inventa nada nuevo: el actor, el ritmo y la escena se quedan, mientras las palabras, la voz y los labios pasan al nuevo idioma. No es «IA generativa», sino traducción al servicio de los creativos.
¿Qué puedo elegir hoy?
La traducción. Cuando una línea admite más de una lectura, tus directores creativos ven las versiones con el porqué de cada una y eligen, antes de que se ponga ninguna voz. Las opciones de audio, las de imagen y el texto en el encuadre están en desarrollo.
REFERENCIAS
Traducción multimodal
Familiar Labs hace un doblaje de otra generación con un modelo multimodal de decisiones de localización (MLDM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 8 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión