La traduction audiovisuelle d'un seul tenant, pas en cascade

01. Qu'est-ce que l'ère de la cascade, dans le doublage automatique ?

Le doublage automatique a commencé comme une cascade : quatre outils à la suite, chacun conçu et réglé de son côté, chacun transmettant son résultat au suivant.

1. 01

   La transcription.

   La reconnaissance vocale écrit ce qui a été dit.
2. 02

   La traduction.

   Un modèle de texte rend la transcription dans la nouvelle langue, sans entendre la voix ni voir le visage.
3. 03

   Une voix.

   La synthèse vocale lit la traduction à voix haute, souvent avec une voix d'inconnu.
4. 04

   Le lipsync.

   Un outil distinct fait bouger la bouche sur le nouvel audio, une fois chaque mot figé.

Cette chaîne a rendu le doublage automatique possible. Sa limite tient à sa forme : chaque étape devine sans les autres. La traduction ne peut pas savoir que la réplique doit tenir sur une bouche fermée. La voix ne peut pas connaître la pièce où elle résonne. Un mot mal entendu ou une réplique trop longue se transmet, et l'erreur s'aggrave à chaque étape suivante.

Chaque outil s'est amélioré au fil des ans : une transcription plus propre, une traduction plus fine, une voix plus naturelle. Le doublage final, lui, a progressé plus lentement, parce que les coutures entre les outils sont restées à la même place.

02. À quoi un acheteur a-t-il affaire aujourd'hui ?

En pratique, la cascade se présente comme une pile d'outils : la transcription de l'un, la traduction d'un autre, une voix d'un troisième, le lipsync et les sous-titres d'un quatrième. Corriger une réplique oblige à relancer toutes les étapes suivantes, et quelqu'un dans votre équipe tient les fichiers ensemble. Les outils qui court-circuitent la pile arbitrent entre qualité et délai. Les outils d'assistance atteignent la qualité avec une équipe d'artistes VFX sur les plans difficiles : des semaines par projet, et chaque langue est un nouveau projet. Les outils en une seule passe sont rapides et sacrifient tout le reste : la voix dérive, l'ambiance disparaît, et les lèvres décrochent dès qu'il y a une main devant le visage, un micro, du flou, du bokeh, un plan de profil ou plusieurs personnes à l'image, sans aucun raisonnement spatial ni compréhension du monde. Familiar, c'est une seule passe, et la qualité.

L'autre voie, c'est le doublage humain complet, traduction et voix, à 70–150 $ la minute produite. Le coût, les effectifs et le temps le mettent hors de portée pour la plus grande partie du monde : même les grandes productions ne doublent qu'en quelques langues, et les petites productions, les séries et les dramas verticaux ne doublent le plus souvent pas du tout.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Si vous envisagez ElevenLabs Dubbing, voici leur documentation, citée, à côté de notre étude :

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Qu'est-ce qui change quand un seul modèle prend toutes les décisions ?

Familiar double avec un modèle de décision multimodal pour la localisation (MLDM). Le MLDM décide quoi localiser et comment, dans le texte, le son et l'image, et les décisions s'accordent parce qu'un seul modèle les prend. La définition se trouve dans Le premier modèle de fondation pour la traduction multimodale.

Ce que vous récupérez, c'est la performance de l'acteur lui-même dans une autre langue : sa voix, ses lèvres, ses expressions et le son de la scène, portés ensemble. Un seul envoi part dans toutes les langues à la fois : des doublages en 30 langues, à partir d'images dans l'une des 99 langues sources.

Décider ensemble change aussi ce qui peut mal tourner. Une réplique qui serait trop longue est rendue pour tenir dans le temps et sur la bouche avant qu'aucune voix ne soit produite. Un rire au milieu d'une phrase reste un rire. Quand deux personnes parlent en même temps, le modèle sait qui dit quelle réplique, et ce sont les bonnes lèvres qui bougent.

04. Qu'est-ce que cela change dans le doublage fini ?

Nous faisons passer les mêmes clips par les deux systèmes et les notons de la même façon. Chaque chiffre vient de sa propre étude, publiée sur le benchmark.

La voix est mesurée aussi : Familiar ressemble 27.8% plus au vrai locuteur qu'ElevenLabs Dubbing v1, plus proche dans les 11 langues, dans l'étude citée plus haut.

Le doublage automatique de YouTube a montré 232.6% d'erreurs en plus sur le fond sonore dans sa propre étude. La scène survit parce que le MLDM entend tout dans la piste, les rires, la foule, la musique, repère la voix principale, la porte dans la nouvelle langue avec la propre voix du locuteur, et laisse le reste tel quel.

05. Que veut dire « d'abord la traduction, puis le doublage en une seule passe » ?

++

D'abord la traduction, puis le doublage en une seule passe : la voix, les lèvres et la scène ensemble.

L'ordre compte. La traduction vient en premier, et vos directeurs artistiques la valident : là où une réplique peut se lire de plusieurs façons, ils voient les traductions avec l'argumentaire de chacune et en choisissent une. Ce n'est qu'ensuite que le doublage est réalisé, une seule fois. Rien de nouveau n'est inventé. Pas de l'« IA générative », mais de la traduction au service des créatifs. Le MLDM pour les tâches fastidieuses.

Les sous-titres sont découpés selon les conventions du Timed Text Style Guide de Netflix, la norme de gabarits de sous-titres sur laquelle s'aligne le secteur. Chaque doublage est traité sur le propre cluster à huit chiffres de GPU NVIDIA B300 de Familiar, à Toronto, au Canada, jamais sur un cloud public comme Google Cloud ou AWS, et jamais par un prestataire d'inférence tiers. Les fichiers sont décrits dans la documentation des sorties, le traitement dans l'inférence privée, et ce que cela signifie pour un catalogue dans Ce qu'un modèle de fondation pour la traduction multimodale change pour les studios et les plateformes.

06. Qui a le dernier mot ?

1. AUJOURD'HUI

   Vos directeurs artistiques valident les décisions de traduction.

   Les traductions possibles, chacune avec son argumentaire ; ils en choisissent une avant toute diffusion.
2. AUJOURD'HUI

   Une liste « Ne pas traduire » et un contexte d'une phrase accompagnent la tâche.

3. EN PRÉPARATION

   Les décisions sur le son et l'image, sur le même écran de validation.

   Ce qui reste dans la langue d'origine, un autre visage quand le modèle s'est trompé de locuteur, et le texte à l'image.

Ce qui change pour un catalogue, c'est la portée. Une série qui serait restée dans une seule langue peut sortir en 30 à la fois, avec les performances de ses propres acteurs, pendant que votre équipe garde la main sur chaque choix qui compte.

C'est le relevé des décisions ; le détail est dans Le relevé des décisions, et ce que décide le modèle dans Qu'est-ce que le MLDM ?. La recherche qui le sous-tend est dans Pionniers de la traduction multimodale. D'humain à humain, pour toucher un public plus large.

QUESTIONS