CONTROL

El registro de decisiones: cómo los directores creativos dirigen el MLDM

FAMILIAR INVESTIGACIÓNACTUALIZADO TODOS LOS ARTÍCULOS
LEER ENEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUMEN

El MLDM es el primer modelo fundacional de traducción multimodal, un nuevo paradigma, el primero de su tipo. Cada decisión que toma queda registrada con el doblaje: la consultas, la cambias y conservas una elección para el siguiente episodio. Las decisiones de traducción se revisan hoy; las de audio e imagen están en desarrollo.
EL PRIMER MODELO FUNDACIONAL DE TRADUCCIÓN MULTIMODAL

Las decisiones que diriges hoy

  1. 01

    Primero vuelve la traducción.

  2. 02

    Cuando una línea admite más de una lectura, la revisión devuelve tres versiones, cada una para una intención y una emoción distintas, con el porqué de cada una.

  3. 03

    Tus directores creativos eligen una o escriben la suya, y después se renderiza.

La misma revisión cubre las decisiones de localización, empezando por lo que no se traduce: la jerga tal como se dijo, el nombre y la marca intactos, una referencia cambiada por otra que el público conoce, lo que esa cultura evita y las groserías suavizadas para un corte destinado a un público más joven.

Un juego de palabras, del coreano al inglés

"사과하려고 사과 사 왔어." se apoya en que 사과 significa a la vez disculpa y manzana. Vuelven tres versiones:

  • "Apples. I'm sorry, right down to the core." Conserva el juego de palabras.
  • "I came to say sorry. I brought apples." Solo el significado.
  • "An apple a day keeps the silent treatment away." Un chiste nuevo.

El director creativo eligió la primera y la editó.

Una pulla, del chino al inglés

"你可真行啊。" se lee como elogio o como pulla, según la escena:

  • "Wow. You're incredible." Sincera.
  • "Well, aren't you something." Sarcástica, la elegida.
  • "Look at you, hotshot." Burlona.

Un pódcast, un episodio o una película tienen muchos segmentos así: los chistes, las conversaciones, las historias.

Las decisiones de audio

El MLDM decide qué hay que traducir y qué no. Encuentra la voz principal, la lleva al nuevo idioma con la voz propia de quien habla y deja el resto tal como estaba. Mostrarle a tu equipo cada caso dudoso del audio está en desarrollo.

Lo que se queda en el idioma original: un cántico de estadio, que sigue en coreano; un grito de un lado a otro de una cocina; una muletilla que los fans conocen. La voz de fondo que nadie distingue se queda tal como estaba, o vuelve como una opción para traducirla de todos modos.

Las decisiones de imagen

EN DESARROLLO

QUIÉN LO ESTÁ DICIENDO DE VERDAD
QUÉ QUEDA REGISTRADOEl rostro del que sale una línea, el narrador, la voz en off.
QUÉ PUEDES HACERCuando el modelo se equivoca de hablante, eliges el rostro entre los candidatos y los labios se mueven en la persona correcta.
EL TEXTO EN EL ENCUADRE
QUÉ QUEDA REGISTRADOLa pantalla del teléfono que dice 내일 봐, un letrero en la calle, la fachada de una tienda, y lo que decidió sobre la marcha dejar tal como se filmó: la marca en una bolsa de Tostitos, un nombre.
QUÉ PUEDES HACERCada elemento se escribe con los términos que ya elegiste, como "See you tomorrow", o se queda tal como se filmó.
EXPRESIONES Y GESTOS
QUÉ QUEDA REGISTRADOSiguen el énfasis de la nueva línea o la cultura.
QUÉ PUEDES HACERUna ceja levantada que el nuevo público interpreta de otra manera puede quedarse tal como se filmó.

Registrado con el doblaje

El registro es lo que convierte a MLDM en un nuevo paradigma, el primero de su tipo: un modelo que muestra sus decisiones.

++
El registro de decisiones, en desarrollo, guarda cada decisión con sus opciones, el porqué, lo que se eligió y quién lo eligió: el modelo, tú o la memoria.

Está abierto durante la revisión y se bloquea al renderizar. Si cambias una decisión en un doblaje ya entregado y vuelves a renderizar, solo se renderizan de nuevo los idiomas afectados. Un doblaje renderizado con review=auto también escribe el registro, con las elecciones del modelo. El doblaje en sí se hace en una sola pasada a partir de esas decisiones: la voz, los labios y la escena juntos. Las herramientas de una sola pasada de hoy funcionan al revés: subes una vez y te quedas con lo que salga. La vía de alta calidad conserva el control a mano, con una herramienta asistida, un equipo de artistas de VFX y semanas por proyecto. Familiar es una sola pasada y además la calidad.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Lo que decides una vez sigue en el próximo episodio

  1. HOY

    Hoy funcionan dos decisiones permanentes.

    La lista de términos que no se traducen conserva una frase tal como se dijo, y el contexto da la indicación en una frase; las dos se fijan antes del doblaje. El registro guarda las decisiones que el modelo tomó durante el doblaje.
  2. EN DESARROLLO

    Memoria de decisiones.

    Guarda un cambio para un creador, ya sea un programa, un canal o una persona, y el siguiente doblaje lo aplica primero cuando vuelven la misma línea, el mismo término, nombre, cántico, letrero o rostro. La muletilla que se quedó en el idioma original sigue así en el episodio 2 sin una segunda revisión.

En la vista de revisión y en la API

En desarrollo: la vista de revisión suma un carril de decisiones. Una línea de tiempo del episodio lleva un marcador por decisión, filtrable por traducción, audio o imagen; cada tarjeta muestra el momento, las opciones con su porqué y la elección del modelo resaltada. Con un toque eliges otra opción, escribes la tuya, conservas el original o guardas la elección para este creador.

La API devuelve el mismo registro, así que una elección hecha en pantalla aparece en la API, y al revés. La superficie prevista, toda en desarrollo:

GET /v1/dubs/{dub_id}/decisions
QUÉ HACELee el registro.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
QUÉ HACECambia una decisión.
decisions.*
QUÉ HACELos ajustes de un nuevo doblaje fijan cuántas versiones vuelven, el nivel de groserías y qué decisiones te llegan para revisar.
dub.decisions_ready
QUÉ HACEEl webhook se dispara cuando el registro está abierto.
decisions.json
QUÉ HACELleva el registro completo con cada doblaje entregado.

La referencia está en Decisiones; el paso de revisión actual, en Transcripción y revisión.

PREGUNTAS

¿Qué decisiones puedo cambiar hoy?

Las de traducción. Una línea que admite más de una lectura vuelve como tres versiones, cada una con su porqué; tus directores creativos eligen una o escriben la suya, y después se renderiza. Las decisiones de audio e imagen están en desarrollo.

¿Puedo dejar un cántico en el idioma original?

Esa opción está en desarrollo. Un cántico de estadio, un grito o una muletilla volverán como una decisión de audio que puedes dejar en el idioma de origen, y la elección puede seguir en el siguiente episodio.

¿Y si el modelo eligió el rostro equivocado?

Elegir otro rostro está en desarrollo. La línea volverá con los rostros candidatos; eliges al hablante correcto y los labios se mueven en esa persona.

¿Una elección se aplica al siguiente episodio?

La memoria de decisiones está en desarrollo: un cambio guardado para un creador se aplica primero en el siguiente doblaje. Hoy la lista de términos que no se traducen y el contexto se aplican a los doblajes para los que los fijas.

¿Con review=auto también se registran las decisiones?

Sí. En el registro previsto, un doblaje renderizado sin revisión escribe igualmente cada decisión con la elección del modelo, consultable después del renderizado. Puedes cambiar una y volver a renderizar.

¿Esto es IA generativa?

No. MLDM es un nuevo paradigma, el primero de su tipo. No hay prompt y no se inventa nada nuevo: decide cómo localizar lo que ya está ahí y te muestra esas decisiones.

REFERENCIAS

  1. [1]¿Qué es un modelo multimodal de decisiones de localización (MLDM)?
  2. [2]API: Decisiones
  3. [3]API: Transcripción y revisión

Traducción multimodal

Familiar Labs hace un doblaje de otra generación con un modelo multimodal de decisiones de localización (MLDM), el primer modelo fundacional de traducción multimodal: un solo modelo decide qué localizar en texto, audio e imagen, y muestra las opciones. La voz y los labios de cada persona, llevados a nuevos idiomas. Un equipo de 8 con doctorados, con el respaldo de Samsung, RedBird y Gold House. Nuestra misión

Ver el benchmark completo →Habla con el equipo