Ce qui compte dans la traduction vidéo

01. Les quatre problèmes

Demandez ce qui fait un bon doublage et vous obtiendrez une longue liste. Elle se résume à quatre points :

Si les deux premiers échouent, rien de ce qui suit ne compte : une phrase mal traduite ou une voix manifestement fausse suffit à faire tomber le doublage. Les deux derniers décident si le résultat paraît être l'original ou un doublage.

02. Traduction naturelle : un nouveau script, pas une correspondance

Chaque langue dit les choses à sa manière : les mots, les expressions, la structure des phrases, les formes d'adresse, ce qui se dit ou non. Demandez à un modèle de « traduire » et il fait correspondre les phrases une à une, de la langue A vers la langue B. Les humains font de même : dès qu'on se pose en traducteur, la tâche se réduit à convertir des phrases.

• Le japonais évite volontiers les tournures trop directes ; une réplique naturelle doit souvent être reconstruite de façon indirecte, pas adoucie mot à mot.
• Le coréen omet sans cesse le sujet ; reporter en coréen les pronoms de l'anglais à la même fréquence sonne étranger, même quand chaque mot est juste.
• L'ordre des mots, le registre, les formules honorifiques et ce qu'une culture tait changent d'une langue à l'autre ; une traduction n'est pas bonne du seul fait que le sens littéral a survécu.

« Bien » ne se laisse pas réduire à une liste de contrôle ; nous ramenons donc l'objectif à une phrase : bien transmettre le contenu de la vidéo dans la langue cible. Cela se mesure :

03. Son naturel : la même personne, dans une nouvelle langue

La prononciation est presque un problème réglé. Les échecs intéressants se situent au-delà :

• L'identité : la même personne continue de sonner comme la même personne, dans chaque langue.
• L'émotion : ce que ressentait le locuteur survit au changement de langue.
• L'insistance, le rythme, l'intention : là où la phrase appuie, la vitesse à laquelle elle avance, ce qu'elle cherche à faire.

L'objectif se résume comme celui de la traduction : l'audio colle à la vidéo. Pas « produire la langue B avec la voix de la langue A ». La même performance, dans une nouvelle langue. Et la scène fait partie de l'audio : les rires, la musique, la pièce.

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

04. Le texte à l'écran fait partie de la vidéo

La vidéo d'aujourd'hui s'appuie sur le texte à l'écran : légendes incrustées, blagues, mèmes, un seul mot calé sur un temps fort. Chacun est un événement visuel dans la langue source. L'adapter impose deux exigences :

• Ne jamais abîmer la vidéo. Des artefacts ou une distraction visuelle rendent le résultat moins bon que l'original.
• Ne jamais le traduire littéralement. Il faut comprendre pourquoi ce texte apparaît à ce moment, à cet endroit, avant de pouvoir l'adapter.

Aujourd'hui, le modèle de décision multimodal pour la localisation (MLDM) de Familiar, le premier modèle de fondation pour la traduction multimodale, un nouveau paradigme, le premier du genre, traduit les titres, les descriptions et les sous-titres avec le doublage. Le texte à l'image est en préparation : un écran de téléphone ou un panneau de rue, rédigé dans les termes que vous avez déjà choisis, une marque ou un nom gardés tels que tournés, décidé à la volée, si bien qu'un paquet de Tostitos reste Tostitos ; c'est vous qui choisissez le texte à traduire. La règle tient : si la modification se remarque, elle n'est pas assez bonne.

05. Le lipsync : réussir en passant inaperçu

Le lipsync obéit à la même exigence : ne jamais abîmer la vidéo. Le plus beau compliment que puisse recevoir le lipsync d'un doublage, c'est la question « qu'est-ce qui a changé ? »

L'effet joue aussi en faveur du doublage. Dès que la bouche correspond, le cerveau tranche les ambiguïtés dans le sens de l'accord : la prononciation paraît plus nette, et le timbre ressemble davantage à la même personne.

Les parties difficiles : les voix hors champ, les locuteurs qui se chevauchent, les personnes qui se ressemblent ou ont la même voix, et modifier la bouche sans casser le visage. Mettez deux personnes à l'écran, et les outils d'aujourd'hui synchronisent les deux bouches à la fois.

Les lèvres ne sont qu'un début. Une personne joue une phrase avec tout le visage, les yeux, les sourcils, les joues, la tête, et avec le corps : les gestes, les hochements de tête, le demi-temps où l'on écoute.

06. Un seul problème, pas quatre

Chaque exigence se ramenait à la même phrase. Traduction naturelle : écrire ce que dit cette vidéo, dans la langue cible. Son naturel : garder la même performance avec les nouveaux mots. Texte à l'écran : savoir pourquoi il est là avant d'y toucher. Lipsync : modifier la personne sans la casser.

C'est ce que décide le MLDM, mesuré sur les mêmes clips et publié sur /benchmark. Chaque décision est enregistrée avec la tâche, et vous pouvez revenir sur chacune ; aujourd'hui, vos directeurs artistiques choisissent parmi les traductions proposées.