DÉCRYPTAGE

Traduire n'est pas générer

FAMILIAR RECHERCHEMIS À JOUR LE TOUS LES ARTICLES

RÉSUMÉ

Pas de l'« IA générative », mais de la traduction au service des créatifs. Générer et traduire sont deux verbes différents. Générer, c'est partir d'un prompt pour fabriquer ce qui n'existait pas. Traduire, c'est partir de ce qui existe déjà, une performance, et la faire passer dans une autre langue. Familiar repose sur un nouveau paradigme, le premier du genre : un modèle de décision multimodal pour la localisation (MLDM), le premier modèle de fondation pour la traduction multimodale. L'acteur, le rythme et la scène restent ; les mots, la bouche et la piste vocale changent pour épouser la nouvelle langue.
LE PREMIER MODÈLE DE FONDATION POUR LA TRADUCTION MULTIMODALE

Deux verbes

L'IA générative est très bien pour créer du neuf : un prompt entre, un contenu nouveau sort, et tout l'intérêt est que le résultat soit inédit. La traduction vise exactement l'inverse.

TraductionL'AUTRE VERBE

Une performance entre, et la même performance ressort dans une autre langue.

GÉNÉRER

  • En entrée : un prompt
  • En sortie : un contenu nouveau
  • Jugé sur : la nouveauté et la qualité du résultat

TRADUIRE

  • En entrée : une performance achevée
  • En sortie : la même performance dans une autre langue
  • Jugé sur : la fidélité à l'original

Un traducteur, humain ou machine, se juge à ce qu'il n'invente pas.

Ce qui reste, ce qui change

L'acteur
CE QUI CHANGELes mots
Le visage
CE QUI CHANGELes mouvements de la bouche
Le rythme
CE QUI CHANGELa piste vocale, dans la nouvelle langue
Le son de la scène : rires, musique, ambiance
CE QUI CHANGE

La voix dans la nouvelle langue est celle de l'acteur, tirée du clip lui-même. Les noms et les gimmicks restent exactement tels que prononcés, grâce à la liste des mots à ne pas traduire ; les blagues sont réécrites pour fonctionner dans la langue cible.

Pourquoi la synchronisation labiale fait partie de la traduction

On n'entend pas la parole qu'avec les oreilles. Dans l'effet McGurk, une voix qui dit [b], doublée sur un visage qui dit [g], est le plus souvent perçue comme [d], un son qu'aucun des deux canaux ne portait (Tiippana, 2014, qui décrit McGurk et MacDonald, 1976). Le cerveau fusionne ce qu'il voit et ce qu'il entend.
VOIX [b] + VISAGE [g] = ENTENDU [d]

Un doublage qui ne touche qu'à la voix laisse ce décalage dans chaque image : la bouche parle une langue, la bande-son une autre, et la compréhension en pâtit. La bouche fait donc partie du message. Traduire une performance, c'est traduire les lèvres avec les mots, et c'est pourquoi un doublage Familiar fait bouger les lèvres sur les nouveaux mots (la FAQ, « Pourquoi le lipsync est-il important ? »).

Les directeurs artistiques relisent avant la diffusion

Certaines répliques peuvent se comprendre de plusieurs façons : une blague, une pique, une phrase qui sonne sincère ou pince-sans-rire. Elles reviennent sous forme de trois traductions, chacune avec son intention et son émotion ; de même pour l'argot gardé tel quel et les grossièretés atténuées pour une version jeune public. L'équipe en choisit une, retouche n'importe quelle réplique face à l'original, et ne lance le rendu qu'ensuite.

Le MLDM pour les tâches fastidieuses.

La partie fastidieuse du doublage, c'est de décider quelle voix et comment les lèvres suivent, pour chaque réplique dans chaque langue. Le MLDM en décide et enregistre chaque décision avec la tâche, pour que votre équipe puisse revenir sur n'importe laquelle. En préparation : choisir quels sons restent dans la langue d'origine, un chant scandé ou un cri, et quel visage ou quel texte à l'écran traduire. Les choix qui font un bon doublage, quelle blague porte, quel ton convient, quel nom reste, demeurent entre les mains de ceux qui ont fait l'œuvre.

++
Toutes les données qui ont servi à entraîner notre modèle ont été produites par l'équipe Familiar elle-même.

Nous sommes un outil de plus dans le processus créatif.

QUESTIONS

Familiar, est-ce de l'IA générative ?

Non. Familiar est un modèle de décision multimodal pour la localisation (MLDM) : il décide comment localiser ce qui existe déjà, sans aucun prompt. Votre vidéo entre, la même performance ressort dans une autre langue. Toutes les données qui ont servi à entraîner notre modèle ont été produites par l'équipe Familiar elle-même. Nous sommes un outil de plus dans le processus créatif.

Que deviennent ma musique et mes effets sonores ?

Ils restent. Les rires, la musique et les basses, les effets sonores et l'ambiance survivent sous le nouveau dialogue.

Puis-je corriger la traduction ?

Oui. Chaque vidéo s'arrête sur un écran de relecture où vous modifiez n'importe quelle réplique face à l'original avant le rendu.

RÉFÉRENCES

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, consulté le 24 octobre 2026
  2. [2]FAQ de Familiar : Pourquoi le lipsync est-il important ?
  3. [3]La synchronisation labiale par IA : ce qu'elle est, ce qu'elle rate, ce qui la dépasse
  4. [4]Pourquoi Familiar n'est pas de l'IA générative au sens traditionnel
  5. [5]Un outil de plus dans le processus créatif

Traduction multimodale

Familiar Labs conçoit un doublage d'une génération d'avance grâce à un modèle de décision multimodal pour la localisation (MLDM), le premier modèle de fondation pour la traduction multimodale : un seul modèle décide ce qu'il faut localiser dans le texte, le son et l'image, et vous montre les choix. Votre voix et vos lèvres, portées dans de nouvelles langues. Une équipe de 8 personnes, dont des docteurs, soutenue par Samsung, RedBird et Gold House. Notre mission