RESUMEN
¿Qué fue la era de la cascada en el doblaje automático?
El doblaje automático nació como una cascada: cuatro herramientas en fila, cada una construida y ajustada por su cuenta, cada una pasándole su resultado a la siguiente.
- 01
Transcripción.
La conversión de voz a texto escribe lo que se dijo. - 02
Traducción.
Un modelo de texto pasa la transcripción al nuevo idioma sin oír la voz ni ver el rostro. - 03
Una voz.
La síntesis de voz lee la traducción en voz alta, a menudo con la voz de un extraño. - 04
Sincronización labial.
Otra herramienta ajusta la boca al nuevo audio, cuando ya está fijada cada palabra.
Esa cadena hizo posible el doblaje automático. Su límite está en su forma: cada etapa adivina sin las demás. La traducción no puede saber que la línea tiene que caber en una boca cerrada. La voz no puede saber en qué sala suena. Una palabra mal oída o una línea que se alarga pasa a la etapa siguiente, y el error se acumula en cada etapa posterior.
Cada herramienta mejoró con los años: una transcripción más limpia, una traducción más precisa, una voz más natural. El doblaje terminado mejoró más despacio, porque las costuras entre las herramientas seguían en el mismo sitio.
¿Con qué se encuentra hoy un comprador?
En la práctica, la cascada llega como una pila de herramientas: la transcripción de una, la traducción de otra, la voz de una tercera, la sincronización labial y los subtítulos de una cuarta. Corregir una línea obliga a volver a pasar por todas las etapas siguientes, y alguien de tu equipo tiene que mantener los archivos en orden. Las herramientas que se saltan la pila cambian calidad por tiempo. Las herramientas asistidas alcanzan la calidad con un equipo de artistas de VFX en las tomas difíciles: semanas por proyecto, y cada idioma es un proyecto nuevo. Las herramientas de una sola pasada son rápidas y renuncian a lo demás: la voz pierde el parecido, el ambiente de la sala desaparece y los labios fallan con una mano sobre la cara, un micrófono, desenfoque, bokeh, un perfil o varias personas en el encuadre, sin razonamiento espacial y sin comprensión del mundo. Familiar es una sola pasada y además la calidad.
El otro camino es el doblaje humano completo, traducción y voz, a $70–150 por minuto terminado. El costo, las personas y el tiempo lo dejan fuera del alcance de la mayor parte del mundo: incluso las grandes producciones doblan a pocos idiomas, y las producciones más pequeñas, los programas y los microdramas verticales casi nunca se doblan.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Si estás evaluando ElevenLabs Dubbing, esta es su documentación, citada, junto a nuestro estudio:
ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026Editing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
¿Qué cambia cuando un solo modelo toma todas las decisiones?
Familiar dobla con un modelo multimodal de decisiones de localización (MLDM). MLDM decide qué localizar y cómo en texto, audio e imagen, y las decisiones encajan porque las toma un solo modelo. La definición está en El primer modelo fundacional de traducción multimodal.
EN CASCADA
- Cuatro herramientas, cada una ajustada por su cuenta.
- La traducción queda fijada antes de que nadie oiga la voz.
- Cada etapa adivina sin las demás, así que los errores se acumulan.
- La voz de un extraño puede acabar sobre un rostro que no coincide.
DE UNA VEZ, LA PRIMERA DE SU TIPO
- Un solo modelo toma todas las decisiones en conjunto.
- La traducción conoce la boca a la que tiene que ajustarse.
- La voz conoce la escena en la que suena.
- La persona nunca cambia.
Lo que recibes es la interpretación del propio actor en otro idioma: su voz, sus labios, sus expresiones y el audio de la escena, llevados juntos. Una sola carga sale en todos los idiomas a la vez: doblajes en 30 idiomas, a partir de metraje en cualquiera de 99 idiomas de origen.
Decidir en conjunto también cambia lo que puede salir mal. Una línea que se alargaría se ajusta al tiempo y a la boca antes de crear ninguna voz. Una risa en mitad de una frase sigue siendo una risa. Cuando dos personas se pisan al hablar, el modelo sabe quién dice cada línea, así que se mueven los labios correctos.
¿Qué cambia eso en el doblaje terminado?
Pasamos los mismos clips por los dos sistemas y los evaluamos de la misma manera. Cada cifra procede de su propio estudio, publicado en el benchmark.
de la calidad de la traducción humana experta, para Familiar: la iguala
FRANCÉS, CHINO, HINDI, INDONESIO (PRIMERA VERSIÓN DE TRADUCTORES PROFESIONALES EXPERTOS)menos errores importantes de traducción para Familiar (29 frente a 64)
FRENTE A ELEVENLABS DUBBING V2 (ALPHA) · 3 IDIOMASmás errores en el sonido de fondo para ElevenLabs (11.92 frente a 3.22 dB)
FRENTE A SU PRODUCTO MÁS NUEVO, DUBBING V2 (ALPHA) · 111 PARES DE DOBLAJES · MÚSICA, EFECTOS Y AMBIENTE DE LA SALATambién se mide la voz: Familiar suena un 27.8% más parecido a la voz real de quien habla que ElevenLabs Dubbing v1, más cercano en los 11 idiomas, en el estudio citado arriba.
El doblaje automático de YouTube tuvo un 232.6% más de errores en el sonido de fondo en su propio estudio. La escena sobrevive porque el MLDM oye todo lo que hay en la pista, las risas, el público, la música, encuentra la voz principal, la lleva al nuevo idioma con la voz propia de quien habla y deja el resto tal como estaba.
¿Qué significa "primero la traducción, después el doblaje en una sola pasada"?
El orden importa. La traducción va primero y tus directores creativos la revisan: cuando una línea admite más de una lectura, ven las versiones con el porqué de cada una y eligen. Solo entonces se hace el doblaje, una vez. No se inventa nada nuevo. No es «IA generativa», sino traducción al servicio de los creativos. MLDM para la parte tediosa.
IMAGEN
Hasta 4K
SONIDO
5.1 real o estéreo
WAV PCM DE 24 BITS · TÚ ELIGES
SUBTÍTULOS
.srt y .vtt
CONVENCIONES TIMED TEXT DE NETFLIX
PROCESAMIENTO
Toronto, Canadá
NUESTRO PROPIO CLÚSTER NVIDIA B300
Los subtítulos se cortan según las convenciones de la Timed Text Style Guide de Netflix, el estándar de plantillas de subtítulos con el que trabaja la industria. Cada doblaje se procesa en el propio clúster de ocho cifras de Familiar, con GPU NVIDIA B300, en Toronto, Canadá, nunca en una nube pública como Google Cloud o AWS y nunca con un proveedor de inferencia externo. Los archivos están en la documentación de archivos de salida, el procesamiento en inferencia privada, y lo que significa para un catálogo en Qué significa un modelo fundacional de traducción multimodal para estudios y plataformas.
¿Quién tiene la última palabra?
Cada decisión queda registrada con el trabajo. Puedes cambiar cualquiera de ellas.
- HOY
Tus directores creativos revisan las decisiones de traducción.
Las versiones con el porqué de cada una; eligen una antes de que salga nada. - HOY
Una lista de términos que no se traducen y una frase de contexto acompañan al trabajo.
- EN DESARROLLO
Las decisiones de audio e imagen, en la misma revisión.
Qué se queda en el idioma original, otro rostro cuando el modelo se equivocó de hablante, y el texto en el encuadre.
Lo que cambia para un catálogo es el alcance. Una serie que se habría quedado en un idioma puede salir en 30 a la vez, con las interpretaciones de sus propios actores, mientras tu equipo sigue tomando cada decisión que importa.
Eso es el registro de decisiones; la historia completa está en El registro de decisiones, y lo que decide el modelo, en ¿Qué es MLDM?. La investigación que hay detrás está en Pioneros de la traducción multimodal. De persona a persona, llegando más lejos.
PREGUNTAS
¿Qué significa "no en cascada" en el doblaje?
El doblaje automático pasaba por herramientas separadas en fila: transcripción, traducción, una voz, sincronización labial. Cada una se ajustaba por su cuenta y adivinaba sin las demás. No en cascada significa que un solo modelo toma todas las decisiones en conjunto, así que la traducción, la voz, los labios y la escena encajan.
¿Se revisa la traducción antes de hacer el doblaje?
Sí. Primero va la traducción. Cuando una línea admite más de una lectura, tus directores creativos ven las versiones con el porqué de cada una y eligen. Después se hace el doblaje en una sola pasada: la voz, los labios y la escena juntos.
¿Esto es IA generativa?
No es «IA generativa», sino traducción al servicio de los creativos. No hay prompt y no se inventa nada nuevo. El actor, el ritmo y la escena se quedan; las palabras, la pista de voz y los labios cambian para ajustarse al nuevo idioma.
¿Puedo elegir las decisiones de audio e imagen?
Las opciones de traducción son tuyas hoy. Las de audio, como qué se queda en el idioma original, y las de imagen, como otro rostro cuando el modelo se equivocó de hablante o el texto en el encuadre, están en desarrollo.
¿Dónde se procesa mi metraje?
En el propio clúster de ocho cifras de Familiar, con GPU NVIDIA B300, en Toronto, Canadá. Nunca en una nube pública como Google Cloud o AWS, y nunca con un proveedor de inferencia externo.
¿Quién desarrolla Familiar?
Doctores que iniciaron el campo de los modelos audiovisuales conjuntos de personas: 22 artículos y más de 10,000 citas, con el Prof. Xu Zheng y el Prof. Youngjung Uh como asesores. Familiar cuenta con el respaldo de Samsung, RedBird y Gold House.
REFERENCIAS
Traducción multimodal
Familiar Labs hace un doblaje de otra generación con un modelo multimodal de decisiones de localización (MLDM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 8 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión