Ce qu'un modèle de fondation pour la traduction multimodale change pour les studios et les plateformes

01. Qu'est-ce qu'un modèle de fondation change au doublage ?

Le doublage automatique était une cascade d'outils séparés : la transcription, puis la traduction, puis une voix, puis le lipsync. Chaque étape devinait sans les autres, et les erreurs se transmettaient d'une étape à l'autre. Ce qu'un acheteur trouve aujourd'hui arbitre entre qualité et délai. Les outils d'assistance atteignent la qualité avec une équipe d'artistes VFX : des semaines par projet, et chaque langue est un nouveau projet. Les outils en une seule passe sont rapides et sacrifient tout le reste : la traduction n'est pas modifiable, la voix dérive, la musique et l'ambiance disparaissent, et les lèvres décrochent dès qu'il y a une main devant le visage, un micro, du flou, du bokeh, un plan de profil ou plusieurs personnes à l'image. Aucun raisonnement spatial, aucune compréhension du monde, aucun contrôle. Familiar remplace la chaîne par un seul modèle de décision multimodal pour la localisation (MLDM) : une seule passe, et la qualité.

++

D'abord la traduction, puis le doublage en une seule passe : la voix, les lèvres et la scène ensemble.

La traduction audiovisuelle d'un seul tenant, pas en cascade : la première du genre. La définition se trouve dans Le premier modèle de fondation pour la traduction multimodale ; la comparaison avec la cascade, étape par étape, dans La traduction audiovisuelle d'un seul tenant, pas en cascade.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Un seul envoi peut-il couvrir tous nos marchés ?

Oui. Des images dans l'une des 99 langues sources entrent une fois, et les doublages sortent dans celles des 30 langues de sortie que vous commandez : toutes les langues à partir d'un seul envoi, chacune portant la même performance. Une saison, un catalogue ou un flux d'épisodes verticaux suit le même chemin, et les termes que vous fixez une fois valent pour l'épisode suivant.

Un doublage humain complet, traduction et voix comprises, coûte de 70 $ à 150 $ la minute produite. À ce prix, il reste hors de portée pour la plus grande partie du monde. Même les grandes productions ne doublent qu'en quelques langues, à cause du coût, des équipes et du temps nécessaire.

C'est ce manque que Familiar comble. Pas de l'« IA générative », mais de la traduction au service des créatifs. Le MLDM pour les tâches fastidieuses. D'humain à humain, pour toucher un public plus large.

03. Qui décide comment une réplique porte dans une autre langue ?

Le MLDM décide quoi localiser et comment, dans le texte, le son et l'image. Votre équipe garde la main sur les choix qui comptent. La traduction vient en premier, et là où une réplique peut se lire de plusieurs façons, vos directeurs artistiques voient les options et leur argumentaire avant que quoi que ce soit ne soit doublé.

Chaque décision est enregistrée avec la tâche, et vous pouvez revenir sur chacune. Le détail est dans Le relevé des décisions. Sur les mots seuls, la traduction égale les traducteurs humains experts : 100.3% de leur qualité, mesuré dans le benchmark.

04. Que contient un doublage livré ?

Une livraison que votre équipe de post-production peut intégrer telle quelle, aux normes de diffusion qu'exige une plateforme de streaming. Le son de la scène reste tel quel : la musique, l'ambiance et les rires sont conservés, et seule la parole change de langue.

Les sous-titres sont établis à partir de la traduction validée, découpés selon les conventions du Timed Text Style Guide de Netflix, la norme de gabarits de sous-titres sur laquelle s'aligne le secteur. Chaque fichier et chaque format sont listés dans la documentation des sorties.

05. Où nos images sont-elles traitées ?

Les images inédites sont l'actif qu'un studio protège le plus. Chaque doublage est traité sur le propre cluster à huit chiffres de GPU NVIDIA B300 de Familiar, à Toronto, au Canada, sur une puissance de calcul qui appartient à Familiar.

Le parcours d'un doublage et les réponses pour votre audit de sécurité sont dans la documentation sur l'inférence privée.

06. Qu'est-ce qui est disponible aujourd'hui, et qu'est-ce qui est en préparation ?

1. AUJOURD'HUI

   Toutes les langues à partir d'un seul envoi, avec la propre voix et les propres lèvres de l'acteur.

   30 langues de sortie, 99 langues sources en entrée ; jusqu'en 4K, un vrai mixage 5.1 ou stéréo, des sous-titres.
2. AUJOURD'HUI

   Vos directeurs artistiques valident les décisions de traduction.

   Les options avec l'argumentaire de chacune, enregistrées avec la tâche.
3. EN PRÉPARATION

   Les décisions sur le son et l'image, sur le même écran de validation.

   Ce qui reste dans la langue d'origine, un autre visage, le texte à l'image à traduire.
4. EN PRÉPARATION

   Le doublage en direct.

L'accès passe par un contrat Studio, dimensionné selon votre catalogue : parlez avec l'équipe de vos titres, de vos langues et de vos spécifications de livraison. L'équipe, ce sont des docteurs qui ont fondé le domaine des modèles audiovisuels conjoints d'humains : 22 articles, plus de 10 000 citations, avec le Pr Xu Zheng et le Pr Youngjung Uh pour conseillers, et le soutien de Samsung, RedBird et Gold House. La recherche est dans nos articles et dans Pionniers de la traduction multimodale ; l'histoire du fondateur, sur notre page mission.

QUESTIONS