CONTRÔLE

Le relevé des décisions : comment les directeurs artistiques dirigent le MLDM

FAMILIAR RECHERCHEMIS À JOUR LE TOUS LES ARTICLES

RÉSUMÉ

Le MLDM est le premier modèle de fondation pour la traduction multimodale, un nouveau paradigme, le premier du genre. Chaque décision qu'il prend est enregistrée avec le doublage : vous la lisez, revenez dessus et gardez un choix pour l'épisode suivant. Les décisions de traduction se valident dès aujourd'hui ; celles sur le son et l'image sont en préparation.
LE PREMIER MODÈLE DE FONDATION POUR LA TRADUCTION MULTIMODALE

Les décisions que vous dirigez aujourd'hui

  1. 01

    La traduction revient en premier.

  2. 02

    Là où une réplique peut se lire de plusieurs façons, l'étape de validation renvoie trois traductions, chacune pour une intention et une émotion différentes, avec l'argumentaire de chacune.

  3. 03

    Vos directeurs artistiques en choisissent une ou écrivent la leur, puis lancent le rendu.

La même validation couvre les choix de localisation, à commencer par ce qui ne se traduit pas : l'argot gardé tel quel, le nom et la marque conservés, une référence remplacée par une autre que le public connaît, ce que cette culture évite, et les grossièretés atténuées pour une version jeune public.

Un jeu de mots, du coréen vers l'anglais

« 사과하려고 사과 사 왔어. » repose sur 사과, qui veut dire à la fois excuse et pomme. Trois traductions reviennent :

  • « Apples. I'm sorry, right down to the core. » Le jeu de mots gardé.
  • « I came to say sorry. I brought apples. » Le sens seul.
  • « An apple a day keeps the silent treatment away. » Une nouvelle blague.

Le directeur artistique a choisi la première et l'a retouchée.

Une pique, du chinois vers l'anglais

« 你可真行啊。 » se lit comme un compliment ou comme une pique, selon la scène :

  • « Wow. You're incredible. » Sincère.
  • « Well, aren't you something. » Sarcastique, le choix retenu.
  • « Look at you, hotshot. » Taquin.

Un podcast, un épisode ou un film compte beaucoup de passages de ce genre : les blagues, les conversations, les histoires.

Les décisions sur le son

Le MLDM décide d'abord quoi traduire. Il repère la voix principale, la porte dans la nouvelle langue avec la propre voix du locuteur, et laisse le reste tel quel. Montrer à votre équipe chaque cas limite dans le son est en préparation.

Ce qui reste dans la langue d'origine : un chant de stade, gardé en coréen ; un cri lancé à travers une cuisine ; une réplique culte que les fans connaissent. La voix d'arrière-plan que personne ne distingue reste telle quelle, ou revient comme un choix à traduire malgré tout.

Les décisions sur l'image

EN PRÉPARATION

QUI LE DIT VRAIMENT
CE QUI EST ENREGISTRÉLe visage auquel une réplique est attribuée, le narrateur, la voix hors champ.
CE QUE VOUS POUVEZ FAIREQuand le modèle se trompe de locuteur, vous choisissez le visage parmi les candidats, et les lèvres bougent sur la bonne personne.
LE TEXTE À L'IMAGE
CE QUI EST ENREGISTRÉL'écran de téléphone où l'on lit 내일 봐, un panneau de rue, une devanture, et ce que le modèle a gardé tel que tourné, à la volée : la marque sur un paquet de Tostitos, un nom.
CE QUE VOUS POUVEZ FAIREChaque élément est rédigé dans les termes que vous avez déjà choisis, en « À demain », ou gardé tel que tourné.
LES EXPRESSIONS ET LES GESTES
CE QUI EST ENREGISTRÉIls suivent l'insistance de la nouvelle réplique, ou la culture.
CE QUE VOUS POUVEZ FAIREUn haussement de sourcils que le nouveau public lirait autrement peut rester tel que tourné.

Enregistré avec le doublage

C'est le relevé qui fait du MLDM un nouveau paradigme, le premier du genre : un modèle qui montre ses décisions.

++
Le relevé des décisions, en préparation, conserve chaque décision avec ses options, l'argumentaire, ce qui a été choisi et par qui : le modèle, vous, ou la mémoire.

Il est ouvert pendant la validation et verrouillé au moment du rendu. Modifiez une décision sur un doublage livré et relancez le rendu ; seules les langues concernées sont rendues de nouveau. Un doublage rendu avec review=auto écrit quand même le relevé, avec les choix du modèle. Le doublage lui-même est réalisé en une seule passe à partir de ces décisions : la voix, les lèvres et la scène ensemble. Les outils en une seule passe d'aujourd'hui fonctionnent à l'inverse : un seul envoi, et vous prenez ce qui sort. La voie de la qualité garde le contrôle à la main : un outil d'assistance, une équipe d'artistes VFX et des semaines par projet. Familiar, c'est une seule passe, et la qualité.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Un choix fait une fois vaut pour l'épisode suivant

  1. AUJOURD'HUI

    Deux décisions permanentes fonctionnent aujourd'hui.

    « Ne pas traduire » garde une expression telle quelle, et le contexte donne le briefing d'une phrase ; vous réglez les deux avant le doublage. Le relevé conserve les décisions que le modèle a prises pendant le doublage.
  2. EN PRÉPARATION

    La mémoire des décisions.

    Retenez un choix pour un créateur, une série, une chaîne ou une personne, et le doublage suivant l'applique en premier quand la même réplique, le même terme, le même nom, le même chant, le même panneau ou le même visage revient. La réplique culte gardée dans la langue d'origine suit dans l'épisode 2 sans seconde validation.

Sur l'écran de validation et dans l'API

En préparation : l'écran de validation s'enrichit d'un rail des décisions. Une frise de l'épisode porte un repère par décision, filtrable par traduction, son ou image ; chaque fiche montre le moment, les options avec leur argumentaire et le choix du modèle mis en évidence. D'un geste, vous choisissez une autre option, tapez la vôtre, gardez l'original, ou retenez le choix pour ce créateur.

L'API renvoie le même relevé : un choix fait à l'écran apparaît dans l'API, et inversement. La surface prévue, entièrement en préparation :

GET /v1/dubs/{dub_id}/decisions
CE QUE ÇA FAITLit le relevé.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
CE QUE ÇA FAITRevient sur une décision.
decisions.*
CE QUE ÇA FAITLes réglages d'un nouveau doublage fixent le nombre de traductions renvoyées, le niveau de grossièreté et les choix qui vous reviennent.
dub.decisions_ready
CE QUE ÇA FAITLe webhook se déclenche quand le relevé est ouvert.
decisions.json
CE QUE ÇA FAITContient le relevé complet avec chaque doublage livré.

La référence est dans Décisions ; l'étape de validation actuelle, dans Transcription et validation.

QUESTIONS

Quelles décisions puis-je modifier aujourd'hui ?

Les décisions de traduction. Une réplique qui peut se lire de plusieurs façons revient en trois traductions, chacune avec son argumentaire ; vos directeurs artistiques en choisissent une ou écrivent la leur, puis lancent le rendu. Les décisions sur le son et l'image sont en préparation.

Puis-je garder un chant dans la langue d'origine ?

Ce choix est en préparation. Un chant de stade, un cri ou une réplique culte reviendront comme une décision sur le son que vous pourrez garder dans la langue source, et ce choix pourra valoir pour l'épisode suivant.

Et si le modèle s'est trompé de visage ?

Choisir un autre visage est en préparation. La réplique reviendra avec les visages candidats ; vous choisissez le bon locuteur, et les lèvres bougent sur cette personne.

Un choix vaut-il pour l'épisode suivant ?

La mémoire des décisions est en préparation : un choix retenu pour un créateur s'applique en premier au doublage suivant. Aujourd'hui, « Ne pas traduire » et le contexte valent pour tous les doublages pour lesquels vous les avez réglés.

Le mode review=auto enregistre-t-il quand même les décisions ?

Oui. Dans le relevé prévu, un doublage rendu sans validation écrit quand même chaque décision avec le choix du modèle, lisible après le rendu. Vous pouvez en modifier une et relancer le rendu.

Est-ce de l'IA générative ?

Non. Le MLDM est un nouveau paradigme, le premier du genre. Il n'y a pas de prompt, et rien de nouveau n'est inventé : il décide comment localiser ce qui existe déjà, et vous montre ces décisions.

RÉFÉRENCES

  1. [1]Qu'est-ce qu'un modèle de décision multimodal pour la localisation (MLDM) ?
  2. [2]API : Décisions
  3. [3]API : Transcription et validation

Traduction multimodale

Familiar Labs conçoit un doublage d'une génération d'avance grâce à un modèle de décision multimodal pour la localisation (MLDM), le premier modèle de fondation pour la traduction multimodale : un seul modèle décide ce qu'il faut localiser dans le texte, le son et l'image, et vous montre les choix. Votre voix et vos lèvres, portées dans de nouvelles langues. Une équipe de 8 personnes, dont des docteurs, soutenue par Samsung, RedBird et Gold House. Notre mission