RESUMEN
¿Qué decide MLDM?
LAS OPCIONES QUE VES
¿Por qué un solo modelo?
UNA CADENA DE HERRAMIENTAS
- Transcripción, después traducción, después una voz, después sincronización labial, cada etapa ajustada por separado.
- Esa cadena hizo posible el doblaje automático.
- Aun así, cada etapa adivina sin las demás, así que los errores se acumulan de una etapa a la siguiente.
UN MODELO FUNDACIONAL, EL PRIMERO DE SU TIPO
- MLDM toma las decisiones en conjunto.
- La traducción conoce la boca a la que tiene que ajustarse.
- La voz conoce la escena en la que suena.
- La persona nunca cambia.
Traducción audiovisual de una vez, no en cascada: la primera de su tipo. Eso es lo que convierte a MLDM en el primer modelo fundacional de traducción multimodal: un solo modelo que lleva las palabras, la voz, los labios y la escena a un nuevo idioma, todo a la vez. Hoy la vía de alta calidad es asistida: un equipo de artistas de VFX y semanas por proyecto, y cada idioma es un proyecto nuevo. Las herramientas de una sola pasada de hoy son rápidas y renuncian a lo demás. Familiar es una sola pasada y además la calidad.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
¿En qué se diferencian la localización y la traducción?
La traducción son las palabras. La localización es lo que una cultura necesita de ellas.
¿Es MLDM inteligencia artificial generativa?
No. IBM la define así:
La IA generativa, a veces llamada IA gen, es una inteligencia artificial (IA) que puede crear contenido original, como texto, imágenes, video, audio o código de software, en respuesta a la instrucción o solicitud de un usuario.
Es una herramienta potente para crear cosas nuevas. MLDM no tiene prompt y no se inventa nada nuevo: decide cómo localizar lo que ya está ahí. La postura completa está en Por qué Familiar no es IA generativa en el sentido tradicional y en Traducir no es generar.
¿De quién son las decisiones?
Tuyas. Cada decisión que toma el MLDM queda registrada con el doblaje, en el registro de decisiones.
- HOY
Tus directores creativos revisan las decisiones de traducción.
Las versiones con el porqué de cada una; eligen una antes de que salga nada. - HOY
Una lista de términos que no se traducen y una frase de contexto acompañan al trabajo.
- EN DESARROLLO
Las decisiones de audio e imagen, en la misma revisión.
- EN DESARROLLO
Memoria de decisiones.
Un cambio que se recuerda para un creador se aplica primero en el siguiente doblaje, así que lo que decides una vez se aplica también al siguiente episodio.
La historia completa está en El registro de decisiones; la API prevista, en la documentación de decisiones.
PREGUNTAS
¿Qué significa MLDM?
MLDM son las siglas en inglés de modelo multimodal de decisiones de localización, un nuevo paradigma y el primero de su tipo: un solo modelo que decide qué localizar y cómo en texto, audio e imagen. Elige la versión de una línea, qué se traduce en el audio, quién habla en pantalla y cómo lo siguen los labios, las expresiones y los gestos.
¿Es MLDM un modelo de video?
No en el sentido habitual. MLDM trabaja sobre metraje que ya existe y decide cómo localizarlo: las palabras, la voz, los labios y las expresiones. La persona en pantalla sigue siendo exactamente quien es, en todos los idiomas.
¿MLDM crea metraje nuevo?
No. No hay prompt y no se inventa nada nuevo. MLDM decide cómo localizar lo que ya está ahí: el actor, el ritmo y la escena se quedan, mientras las palabras, la pista de voz y los labios cambian para ajustarse al nuevo idioma.
¿Qué decide MLDM en el audio?
Qué hay que traducir y qué no. Encuentra la voz principal y la lleva al nuevo idioma con la voz propia de quien habla. Las risas, el público, un grito y una voz de fondo que nadie distingue se quedan tal como estaban.
¿MLDM cambia las expresiones?
Cuando el énfasis o la cultura lo piden. Los labios siguen las nuevas palabras en cada línea; las expresiones y los gestos lo hacen cuando una línea cae de otra manera en el nuevo idioma. La persona sigue siendo exactamente quien es.
¿MLDM traduce el texto en pantalla?
Todavía no. El texto en el encuadre, como la pantalla de un teléfono, la portada de un libro, un letrero en la calle o la fachada de una tienda, se está integrando ahora, escrito con los términos que ya elegiste; el modelo decide sobre la marcha qué se queda tal como se filmó, una marca, un nombre, la jerga: una bolsa de Tostitos sigue siendo Tostitos. Hoy se localizan las palabras, la voz, los labios, las expresiones y los gestos.
¿Puedo cambiar una decisión que tomó el modelo?
Sí. Cada decisión queda registrada con el trabajo y puedes cambiarla. Hoy tus directores creativos eligen entre las versiones de la traducción, cada una con su porqué, y lo que decides una vez se aplica también al siguiente episodio.
¿El modelo muestra sus opciones en el audio y en el video?
Las opciones de traducción se muestran hoy. Las de audio, como qué se queda en el idioma original, y las de imagen, como elegir otro rostro o qué texto del encuadre se traduce, están en desarrollo.
REFERENCIAS
Traducción multimodal
Familiar Labs hace un doblaje de otra generación con un modelo multimodal de decisiones de localización (MLDM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 8 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión