Questions
Un doublage d'une génération d'avance : ta voix et tes lèvres, portées dans de nouvelles langues ; assembler ElevenLabs et HeyGen donne toujours un inconnu, à l'oreille comme à l'écran. Et c'est plus que de la synchronisation labiale par IA : tout le visage joue dans la nouvelle langue, occlusions et raisonnement spatial compris.
Dans notre benchmark publié :
- leur tout dernier produit a fait 270% d'erreurs en plus sur le fond sonore : les rires, la musique, l'ambiance
- 54.7% d'erreurs de traduction importantes en moins que leur tout dernier produit
- sur leur Dubbing v1, notre voix ressort 27.8% plus proche de la vraie voix du locuteur, et ce dans les 11 langues
Sur les mêmes clips, ElevenLabs :
- a omis ou inventé des mots 45 fois
- a cassé des rires et des bruitages 8 fois
- a perdu la voix du locuteur 6 fois
- a mélangé des voix qui se chevauchent 6 fois
- a aplati l'interprétation 4 fois
- a effacé l'ambiance de la scène 4 fois
- son API refuse les clips de moins de 11 secondes
Assembler ça toi-même revient à 11 $ la minute : 8 $ pour le lipsync de Sync.so, plus 3 $ pour l'audio d'ElevenLabs. Un doublage Familiar Labs comprend la voix, le lipsync et la traduction, jusqu'en 4K avec un vrai mixage surround 5.1 ou stéréo.
Le MLFM est le premier modèle de fondation pour la traduction multimodale, un nouveau paradigme, le premier du genre : un seul modèle qui décide ce qu'il faut localiser et comment, dans le texte, le son et l'image, et qui te montre les choix qui comptent. D'abord la traduction, puis le doublage en une seule passe : la voix, les lèvres et la scène ensemble.
- Dans la traduction : quelle version porte une blague, une histoire ou une réplique, avec ce qui ne se traduit pas, l'argot gardé tel quel, le nom et la marque conservés, la référence remplacée, ce qu'une culture évite, le niveau de grossièreté adapté au public. Tes directeurs artistiques voient les options argumentées et choisissent.
- Dans le son : d'abord, quoi traduire. Le modèle repère la voix principale et laisse les rires, la foule et un cri tels quels ; choisir ce qui reste dans la langue d'origine est en préparation.
- Dans l'image : qui parle à l'écran, qui raconte, qui est hors champ ; les lèvres, occlusions et raisonnement spatial compris ; les expressions et les gestes quand l'insistance l'exige. Le texte à l'image est en préparation : le modèle décide à la volée ce qui reste tel que tourné, une marque, un nom, l'argot, si bien qu'un paquet de Tostitos reste Tostitos ; le choix du visage et du texte à traduire vient avec.
Chaque décision est enregistrée avec le doublage, et tu peux la modifier. Aucun prompt, rien de nouveau n'est inventé : le modèle décide comment localiser ce qui existe déjà.

