Pionniers de la traduction multimodale : de la recherche audiovisuelle conjointe au premier modèle de fondation

01. Qui a fondé les modèles audiovisuels conjoints d'humains ?

Un doublage ne tient que si la voix et le visage restent une seule et même personne. Les chercheurs de Familiar sont des docteurs qui ont fondé le domaine des modèles audiovisuels conjoints d'humains : leur article JAM-Flow, présenté à ECCV 2026, est le premier modèle audiovisuel conjoint d'humains, qui traite la voix et le visage d'une personne qui parle comme un seul problème.

Ces travaux couvrent les briques dont la traduction multimodale a besoin : les modèles audiovisuels conjoints d'humains, les modèles vidéo rapides, l'édition vidéo et la perception multimodale. Chaque article et chaque conférence figurent dans la synthèse de nos recherches. La raison est personnelle : enfant, An Zhu Liu, le CEO, ne parvenait pas à parler anglais avec ses camarades et l'a appris à la télévision, une histoire racontée sur notre page mission.

02. Pourquoi le doublage passait-il par des outils séparés ?

Parce que chaque brique a d'abord été résolue séparément. Le doublage automatique est arrivé sous forme de chaîne, et c'est cette chaîne qui l'a rendu possible. Elle en a aussi fixé la limite, et les outils apparus depuis arbitrent toujours entre qualité et délai. Les outils d'assistance atteignent la qualité avec une équipe d'artistes VFX et des semaines par projet, un nouveau projet par langue. Les outils en une seule passe sont rapides et sacrifient tout le reste : leurs lèvres décrochent dès qu'il y a une main devant le visage, un micro, du flou, du bokeh, un plan de profil ou plusieurs personnes à l'image, sans aucun raisonnement spatial ni compréhension du monde. Familiar, c'est une seule passe, et la qualité.

++

Familiar est le premier modèle de fondation pour la traduction multimodale : un seul modèle qui porte les mots, la voix, les lèvres et la scène dans une nouvelle langue, tout à la fois.

La comparaison étape par étape se trouve dans La traduction audiovisuelle d'un seul tenant, pas en cascade ; la définition, dans Le premier modèle de fondation pour la traduction multimodale.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Que veut dire « pionnier » ici ?

Trois choses, réunies pour la première fois. La première, c'est l'audio et l'image portés dans la nouvelle langue tout à la fois, par un seul modèle, si bien que les décisions s'accordent : la voix est celle de l'acteur, les lèvres suivent les nouveaux mots, et les rires, la foule et la musique restent à leur place.

La deuxième, c'est l'ordre. D'abord la traduction, puis le doublage en une seule passe : la voix, les lèvres et la scène ensemble. Les mots sont arrêtés, et validés par vos directeurs artistiques, avant que la moindre voix ne soit produite.

La troisième, c'est le relevé. Chaque décision que prend le MLDM est enregistrée avec la tâche, et vous pouvez revenir sur chacune. Le récit complet est dans Le relevé des décisions ; ce qu'est le MLDM, dans l'article de définition.

04. Que décide le modèle, et que choisissez-vous ?

Un résultat de recherche devient un produit quand ceux qui l'utilisent gardent la main. Le MLDM pour les tâches fastidieuses. Les choix créatifs restent les vôtres.

05. Qu'est-ce qui est encore en préparation ?

Être pionnier, c'est livrer la première version, pas la dernière. Les choix de traduction sont ouverts aujourd'hui ; le reste du relevé s'ouvre par étapes.

1. AUJOURD'HUI

   Vos directeurs artistiques valident les décisions de traduction.

   Les traductions avec l'argumentaire de chacune ; une liste « Ne pas traduire » et un contexte d'une phrase accompagnent la tâche.
2. EN PRÉPARATION

   Les décisions sur le son et l'image, sur le même écran de validation.

3. EN PRÉPARATION

   Le texte à l'image.

   Un écran de téléphone, une couverture de livre, un panneau de rue, rédigés dans les termes que vous avez déjà choisis ; une marque ou un nom reste tel que tourné, décidé à la volée : un paquet de Tostitos reste Tostitos.
4. EN PRÉPARATION

   Le doublage en direct.

06. Qu'est-ce que cela change pour les personnes à l'écran ?

Le doublage humain reste hors de portée pour la plus grande partie du monde. Même les grandes productions ne doublent qu'en quelques langues, à cause du coût, des équipes et du temps nécessaire ; les petites productions, les séries et les dramas verticaux ne doublent le plus souvent pas du tout. Un modèle de fondation pour la traduction multimodale donne à chacune d'elles la même performance dans une autre langue : la voix, les lèvres et les expressions de l'acteur en 30 langues, livrées jusqu'en 4K avec un vrai mixage surround 5.1 ou stéréo en PCM 24 bits (les sorties).

La traduction atteint 100.3% de la qualité de la traduction humaine experte : elle l'égale ; les études sont sur /benchmark. Pas de l'« IA générative », mais de la traduction au service des créatifs. D'humain à humain, pour toucher un public plus large. Ce que cela signifie pour un catalogue se trouve dans l'article pour les studios et les plateformes.

QUESTIONS