RESUMEN
Los cuatro problemas
Si se pregunta qué hace bueno un video doblado, sale una lista larga. Se reduce a cuatro puntos:
Si fallan las dos primeras, lo que venga después da igual: una frase mal traducida o una voz que suena claramente equivocada basta para hundir el doblaje. Las dos últimas deciden si el resultado se siente como el original o como un doblaje.
Traducción natural: un guion nuevo, no una correspondencia
Cada idioma expresa las cosas a su manera: las palabras, los modismos, la estructura de la frase, las formas de tratamiento, incluso lo que se dice y lo que no. Si se le pide a un modelo que "traduzca", hace corresponder frases una a una del idioma A al idioma B. Las personas hacen lo mismo: puesta en el papel de traductora, la tarea se reduce a convertir frases.
Un doblaje traducido así se entiende y está mal.
- El japonés tiende a evitar las formulaciones demasiado directas; una línea natural a menudo hay que reconstruirla de forma indirecta, no suavizarla palabra por palabra.
- El coreano omite el sujeto constantemente; llevar los pronombres del inglés al coreano con la frecuencia del inglés suena extranjero aunque cada palabra sea correcta.
- El orden de las palabras, el registro, los honoríficos y lo que una cultura deja sin decir cambian con cada idioma; una traducción no es buena solo porque sobreviva el sentido literal.
"Bien" no cabe en una lista de verificación, así que reducimos el objetivo a una frase: transmitir bien el contenido del video en el idioma de destino. Eso sí se puede medir:
de la calidad de la traducción humana experta, para Familiar, con evaluación a ciegas frente a revisiones de referencia de expertos
FRANCÉS, CHINO, HINDI, INDONESIO (PRIMERA VERSIÓN DE TRADUCTORES PROFESIONALES EXPERTOS)menos errores importantes de traducción para Familiar con los mismos clips (29 frente a 64)
FRENTE A ELEVENLABS DUBBING V2 (ALPHA) · 111 PARES DE DOBLAJES · 3 IDIOMASAudio natural: la misma persona, en un idioma nuevo
La pronunciación está casi resuelta. Los fallos interesantes vienen después:
- Identidad: la misma persona sigue sonando como la misma persona, en todos los idiomas.
- Emoción: lo que sentía quien habla sobrevive al cambio de idioma.
- Énfasis, ritmo, intención: hacia dónde carga la frase, a qué velocidad avanza, qué intenta conseguir.
El objetivo se reduce igual que el de la traducción: que el audio coincida con el video. No "generar el idioma B con la voz del idioma A". La misma interpretación, en un idioma nuevo. Y la escena forma parte del audio: las risas, la música, la sala.
más daño en el sonido de fondo para ElevenLabs (11.92 frente a 3.22 dB): la música, los efectos, el ambiente
ESTUDIO DUBBING V2 (ALPHA) · LOS MISMOS CLIPSmás parecido con la voz de quien habla para Familiar (0.461 frente a 0.360), más cercano en los 11 idiomas
FRENTE A ELEVENLABS · ESTUDIO DUBBING V1 · 418 PARES DE DOBLAJES
ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026Editing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
El texto en pantalla forma parte del video
El video actual se apoya en el texto en pantalla: rótulos, chistes, memes, una sola palabra sincronizada con un golpe de música. Cada uno es un evento visual en el idioma de origen. Adaptarlo exige dos cosas:
- No dañar nunca el video. Los artefactos o las distracciones visuales dejan el resultado peor que el original.
- No traducirlo nunca de forma literal. Antes de adaptarlo hay que entender por qué ese texto aparece en ese momento y en ese lugar.
Hoy el modelo multimodal de decisiones de localización (MLDM) de Familiar, el primer modelo fundacional de traducción multimodal, un nuevo paradigma y el primero de su tipo, traduce títulos, descripciones y subtítulos junto con el doblaje. El texto dentro del encuadre está en desarrollo: la pantalla de un teléfono o un letrero en la calle, escritos con los términos que ya elegiste, una marca o un nombre que se quedan tal como se filmaron, decidido sobre la marcha, así que una bolsa de Tostitos sigue siendo Tostitos, y tú eliges qué texto traducir. La regla se mantiene: si la edición se nota, no es suficiente.
Sincronización labial: acertar es pasar desapercibida
La sincronización labial tiene el mismo requisito estricto: no dañar nunca el video. El mejor elogio que puede recibir la sincronización de un doblaje es la pregunta "¿qué cambió?"
El efecto también juega a favor del doblaje. Cuando la boca coincide, el cerebro resuelve la ambigüedad hacia el acuerdo: la pronunciación se percibe más clara y el timbre suena más a la misma persona.
Lo difícil: las voces fuera de cuadro, los hablantes que se pisan, las personas que se parecen en aspecto o en voz, y editar la boca sin romper el rostro. Con dos personas en pantalla, las herramientas actuales sincronizan las dos bocas a la vez.
Los labios son solo el principio. Una persona interpreta una frase con todo el rostro, los ojos, las cejas, las mejillas, la cabeza, y con el cuerpo: los gestos, los asentimientos, la breve pausa de quien escucha.
Un problema, no cuatro
Cada requisito acababa reduciéndose a la misma frase. Traducción natural: escribir lo que dice este video, en el idioma de destino. Audio natural: conservar la misma interpretación con las nuevas palabras. Texto en pantalla: saber por qué está ahí antes de tocarlo. Sincronización labial: editar a la persona sin romperla.
La misma interpretación, en otro idioma.
Eso es lo que decide el MLDM, medido con los mismos clips y publicado en /benchmark. Cada decisión queda registrada con el trabajo y se puede cambiar; hoy tus directores creativos eligen entre las versiones de la traducción.
REFERENCIAS
- [1]Benchmark de Familiar frente a ElevenLabs: resultados completos, intervalos y ejemplos de escucha
- [2]Traducción con IA frente a traducción humana: probada contra profesionales
- [3]Sincronización labial con IA: qué es, qué se le escapa y qué la supera
- [4]Por qué el doblaje no convence fuera y cómo lo arreglan los estudios (la versión de este argumento para estudios)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
Traducción multimodal
Familiar Labs hace un doblaje de otra generación con un modelo multimodal de decisiones de localización (MLDM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 8 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión