RÉSUMÉ
Qu'est-ce qu'un modèle de fondation pour la traduction multimodale ?
Un seul modèle qui porte les mots, la voix, les lèvres et la scène dans une nouvelle langue, tout à la fois.
Une vidéo dit plus que ses mots. La voix du locuteur, la façon dont sa bouche bouge, les rires dans la pièce et la musique sous une scène portent tous du sens. Bien traduire une vidéo, c'est faire passer tout cela, en gardant l'ensemble cohérent : la réplique doit s'ajuster à la bouche, la voix doit s'inscrire dans la scène, et la personne à l'écran doit rester exactement qui elle est.
Un modèle de fondation pour la traduction multimodale est un seul modèle qui fait tout ce travail. Il prend les images comme un tout et décide comment chaque élément doit porter dans la nouvelle langue. Familiar a construit le premier, et l'appelle MLDM.
Pourquoi le doublage passait-il jusqu'ici par des outils séparés ?
Le doublage humain est toujours resté hors de portée pour la plus grande partie du monde. Même les grandes productions ne doublent qu'en quelques langues, à cause du coût, des équipes et du temps ; les petites productions, les séries et les dramas verticaux ne doublent pas du tout. Un doublage humain complet, traduction et voix comprises, coûte de 70 $ à 150 $ la minute produite.
Le doublage automatique a commencé comme une chaîne : la transcription, puis la traduction, puis une voix, puis le lipsync.
Qu'est-ce qui change quand un seul modèle porte tout à la fois ?
L'ÈRE DE LA CASCADE
- Des outils séparés, l'un après l'autre.
- Chaque étape devine sans les autres.
- Une nouvelle voix sur le visage d'origine.
LE PREMIER MODÈLE DE FONDATION
- Un seul modèle, un seul ensemble de décisions.
- La traduction connaît la bouche à laquelle elle doit s'ajuster.
- La voix connaît la scène dans laquelle elle s'inscrit.
- La personne ne change jamais.
La performance du même acteur passe intacte : sa propre voix, ses lèvres qui suivent les nouveaux mots, ses expressions et le son de la scène autour de lui. Les rires, la foule et la musique restent tels quels. Sur les mêmes clips, YouTube a fait 232.6% d'erreurs en plus que Familiar sur le fond sonore. Sur les mots seuls, la traduction égale le premier jet d'un traducteur professionnel expert : 100.3% de sa qualité. Les chiffres complets sont sur le benchmark.
Cela change aussi le travail autour d'un doublage. Aujourd'hui, la voie de la qualité est assistée : une équipe d'artistes VFX travaille plan par plan pendant des semaines, et chaque langue est un nouveau projet. Les outils en une seule passe d'aujourd'hui sont rapides et sacrifient tout le reste : la traduction n'est pas modifiable, la musique et l'ambiance disparaissent, et les lèvres décrochent sur les plans ordinaires, une main devant le visage, un micro, du flou, du bokeh, un plan de profil, plusieurs personnes à l'image. Aucun raisonnement spatial, aucune compréhension du monde. Familiar, c'est une seule passe, et la qualité : un seul envoi porte une vidéo dans toutes les langues que vous choisissez, tout à la fois, et les décisions s'accordent parce qu'un seul modèle les prend, si bien que rien n'a à être recousu à la main.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Que décide le MLDM, et que choisissez-vous ?
Le modèle de décision multimodal pour la localisation, c'est le modèle lui-même. Le MLDM décide quoi localiser et comment, dans le texte, le son et l'image. La définition complète se trouve dans Qu'est-ce qu'un modèle de décision multimodal pour la localisation (MLDM) ?
DÉCIDÉ ET CHOISI
- AUJOURD'HUI
Les décisions de traduction, validées par vos directeurs artistiques.
Chaque décision est enregistrée avec la tâche. Vous pouvez revenir sur chacune. - EN PRÉPARATION
Les décisions sur le son et l'image, sur le même écran de validation.
- EN PRÉPARATION
Le texte à l'image, et le doublage en direct.
Un écran de téléphone ou un panneau de rue rédigé dans les termes que vous avez déjà choisis ; une marque ou un nom reste tel que tourné, décidé à la volée : un paquet de Tostitos reste Tostitos.
Le relevé de ces choix se trouve dans Le relevé des décisions.
Qu'apporte un modèle de fondation à un studio ?
Le MLDM pour les tâches fastidieuses. Les choix créatifs restent aux personnes qui ont fait l'œuvre ; le modèle porte le reste dans toutes les langues, tout à la fois.
LANGUES
30 en sortie, 99 en entrée
Des doublages en 30 langues, à partir d'images dans l'une des 99 langues sources.
LA VIDÉO FINIE
Jusqu'en 4K
LE MIXAGE COMPLET
Vrai surround 5.1 ou stéréo
Au choix, en PCM 24 bits.
SOUS-TITRES
.srt et .vtt
Découpés selon les conventions du Timed Text Style Guide de Netflix, la norme de gabarits de sous-titres sur laquelle s'aligne le secteur.
INFÉRENCE PRIVÉE
Toronto, Canada
Un cluster à huit chiffres de GPU NVIDIA B300 qui nous appartient, jamais un cloud public.
Chaque doublage est traité sur ce cluster, jamais par un prestataire d'inférence tiers : vos médias ne fuitent donc jamais. Les détails sont dans la documentation sur l'inférence privée et la documentation des sorties. Derrière, des docteurs qui ont fondé le domaine des modèles audiovisuels conjoints d'humains : 22 articles, plus de 10 000 citations, avec le Pr Xu Zheng et le Pr Youngjung Uh pour conseillers, et le soutien de Samsung, RedBird et Gold House. Les articles sont dans nos recherches.
Un modèle de fondation pour la traduction est-il de l'IA générative ?
Pas au sens traditionnel. IBM définit l'IA générative ainsi :
L'IA générative, parfois appelée gen AI, est une intelligence artificielle (IA) capable de créer du contenu original, comme du texte, des images, des vidéos, de l'audio ou du code logiciel, en réponse à l'invite ou à la demande d'un utilisateur.
C'est un outil puissant pour créer du neuf. Le MLDM n'a pas de prompt, et rien de nouveau n'est inventé : il porte ce qui existe déjà dans une autre langue. Pas de l'« IA générative », mais de la traduction au service des créatifs. D'humain à humain, pour toucher un public plus large.
Les autres articles de cette série : La traduction audiovisuelle d'un seul tenant, pas en cascade, Ce qu'un modèle de fondation pour la traduction multimodale change pour les studios et les plateformes et Pionniers de la traduction multimodale.
QUESTIONS
Qu'est-ce qu'un modèle de fondation pour la traduction multimodale ?
Un seul modèle qui porte les mots, la voix, les lèvres et la scène d'une vidéo dans une nouvelle langue, tout à la fois. Le modèle de décision multimodal pour la localisation (MLDM) de Familiar est le premier du genre : les décisions s'accordent parce qu'un seul modèle les prend, et la personne à l'écran ne change jamais.
En quoi est-ce différent du doublage automatique tel qu'on le connaissait ?
Jusqu'ici, le doublage automatique était une chaîne d'outils séparés : la transcription, puis la traduction, puis une voix, puis le lipsync, chacun devinant sans les autres. Le MLDM prend les décisions ensemble. D'abord la traduction, puis le doublage en une seule passe : la voix, les lèvres et la scène ensemble.
Un modèle de fondation pour la traduction multimodale est-il de l'IA générative ?
Pas au sens traditionnel. Il n'y a pas de prompt, et rien de nouveau n'est inventé : le MLDM décide comment localiser des images qui existent déjà. L'IA générative est un outil puissant pour créer du neuf ; ici, c'est de la traduction au service des créatifs, d'humain à humain, pour toucher un public plus large.
Puis-je vérifier ce que le modèle a décidé ?
Oui. Chaque décision est enregistrée avec la tâche, et vous pouvez revenir sur chacune. Aujourd'hui, vos directeurs artistiques choisissent parmi les traductions proposées, chacune avec son argumentaire. Les choix sur le son et l'image sont en préparation.
Quelles langues couvre-t-il ?
Les doublages sortent en 30 langues, à partir d'images dans l'une des 99 langues sources. Un seul envoi porte une vidéo dans toutes les langues que vous choisissez, livrée jusqu'en 4K avec un vrai mixage surround 5.1 ou stéréo.
Où mes images sont-elles traitées ?
Sur le propre cluster à huit chiffres de GPU NVIDIA B300 de Familiar, à Toronto, au Canada : de l'inférence privée, jamais un cloud public ni un prestataire d'inférence tiers, si bien que vos médias ne fuitent jamais.
RÉFÉRENCES
Traduction multimodale
Familiar Labs conçoit un doublage d'une génération d'avance grâce à un modèle de décision multimodal pour la localisation (MLDM), le premier modèle de fondation pour la traduction multimodale : un seul modèle décide ce qu'il faut localiser dans le texte, le son et l'image, et vous montre les choix. Votre voix et vos lèvres, portées dans de nouvelles langues. Une équipe de 8 personnes, dont des docteurs, soutenue par Samsung, RedBird et Gold House. Notre mission