RÉSUMÉ
Que décide le MLDM ?
LES CHOIX QUE VOUS VOYEZ
Pourquoi un seul modèle ?
UNE CHAÎNE D'OUTILS
- La reconnaissance vocale, puis la traduction, puis une voix, puis le lipsync, chaque étape réglée séparément.
- C'est cette chaîne qui a rendu le doublage automatique possible.
- Chaque étape devine pourtant sans les autres, si bien que les erreurs s'accumulent d'une étape à l'autre.
UN SEUL MODÈLE DE FONDATION, LE PREMIER DU GENRE
- Le MLDM prend les décisions ensemble.
- La traduction connaît la bouche à laquelle elle doit s'ajuster.
- La voix connaît la scène dans laquelle elle s'inscrit.
- La personne ne change jamais.
La traduction audiovisuelle d'un seul tenant, pas en cascade : la première du genre. C'est ce qui fait du MLDM le premier modèle de fondation pour la traduction multimodale : un seul modèle qui porte les mots, la voix, les lèvres et la scène dans une nouvelle langue, tout à la fois. Aujourd'hui, la voie de la qualité est assistée : une équipe d'artistes VFX et des semaines par projet, chaque langue étant un nouveau projet. Les outils en une seule passe d'aujourd'hui sont rapides et sacrifient tout le reste. Familiar, c'est une seule passe, et la qualité.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Quelle différence entre localisation et traduction ?
La traduction, ce sont les mots. La localisation, c'est ce qu'une culture attend d'eux.
Le MLDM est-il de l'IA générative ?
Non. IBM la définit ainsi :
L'IA générative, parfois appelée gen AI, est une intelligence artificielle (IA) capable de créer du contenu original, comme du texte, des images, des vidéos, de l'audio ou du code logiciel, en réponse à l'invite ou à la demande d'un utilisateur.
C'est un outil puissant pour créer du neuf. Le MLDM n'a pas de prompt, et rien de nouveau n'est inventé : il décide comment localiser ce qui existe déjà. La position complète est exposée dans Pourquoi Familiar n'est pas de l'IA générative au sens traditionnel et Traduire n'est pas générer.
À qui appartiennent ces décisions ?
À vous. Chaque décision que prend le MLDM est enregistrée avec le doublage, dans le relevé des décisions.
- AUJOURD'HUI
Vos directeurs artistiques valident les décisions de traduction.
Les traductions possibles, chacune avec son argumentaire ; ils en choisissent une avant toute diffusion. - AUJOURD'HUI
Une liste « Ne pas traduire » et un contexte d'une phrase accompagnent la tâche.
- EN PRÉPARATION
Les décisions sur le son et l'image, sur le même écran de validation.
- EN PRÉPARATION
La mémoire des décisions.
Un choix retenu pour un créateur s'applique en premier au doublage suivant : un choix fait une fois vaut aussi pour l'épisode suivant.
Le détail est dans Le relevé des décisions ; l'API prévue, dans la documentation des décisions.
QUESTIONS
Que signifie MLDM ?
MLDM signifie Multimodal Localization Decision Model, en français modèle de décision multimodal pour la localisation : un nouveau paradigme, le premier du genre, un seul modèle qui décide quoi localiser et comment, dans le texte, le son et l'image. Il choisit la version d'une réplique, ce qu'il faut traduire dans le son, qui parle à l'écran, et comment suivent les lèvres, les expressions et les gestes.
Le MLDM est-il un modèle vidéo ?
Pas au sens habituel. Le MLDM travaille sur des images qui existent déjà et décide comment les localiser : les mots, la voix, les lèvres et les expressions. La personne à l'écran reste exactement qui elle est, dans chaque langue.
Le MLDM crée-t-il de nouvelles images ?
Non. Il n'y a pas de prompt, et rien de nouveau n'est inventé. Le MLDM décide comment localiser ce qui existe déjà : l'acteur, le rythme et la scène restent, tandis que les mots, la piste vocale et les lèvres changent pour s'accorder à la nouvelle langue.
Que décide le MLDM dans le son ?
D'abord, quoi traduire. Il repère la voix principale et la porte dans la nouvelle langue avec la propre voix du locuteur. Les rires, la foule, un cri et une voix d'arrière-plan que personne ne distingue restent tels quels.
Le MLDM modifie-t-il les expressions ?
Quand l'insistance ou la culture l'exige. Les lèvres suivent les nouveaux mots à chaque réplique ; les expressions et les gestes suivent quand une réplique porte autrement dans la nouvelle langue. La personne reste exactement qui elle est.
Le MLDM traduit-il le texte à l'écran ?
Pas encore. Le texte à l'image, comme un écran de téléphone, une couverture de livre, un panneau de rue ou une devanture, est en cours d'intégration, rédigé dans les termes que vous avez déjà choisis ; le modèle décide à la volée ce qui reste tel que tourné, une marque, un nom, l'argot : un paquet de Tostitos reste Tostitos. Aujourd'hui, les mots, la voix, les lèvres, les expressions et les gestes sont localisés.
Puis-je modifier une décision prise par le modèle ?
Oui. Chaque décision est enregistrée avec la tâche, et vous pouvez revenir dessus. Aujourd'hui, vos directeurs artistiques choisissent parmi les traductions proposées, chacune avec son argumentaire, et un choix fait une fois vaut aussi pour l'épisode suivant.
Le modèle montre-t-il ses choix dans le son et l'image ?
Les choix de traduction sont visibles aujourd'hui. Les choix sur le son, comme ce qui reste dans la langue d'origine, et sur l'image, comme choisir un autre visage ou le texte à l'image à traduire, sont en préparation.
RÉFÉRENCES
Traduction multimodale
Familiar Labs conçoit un doublage d'une génération d'avance grâce à un modèle de décision multimodal pour la localisation (MLDM), le premier modèle de fondation pour la traduction multimodale : un seul modèle décide ce qu'il faut localiser dans le texte, le son et l'image, et vous montre les choix. Votre voix et vos lèvres, portées dans de nouvelles langues. Une équipe de 8 personnes, dont des docteurs, soutenue par Samsung, RedBird et Gold House. Notre mission