Pioners de la traducció multimodal: de la recerca audiovisual conjunta al primer model fundacional

01. Qui va iniciar els models humans audiovisuals conjunts?

Un doblatge només aguanta si la veu i la cara continuen sent una sola persona. Els investigadors de Familiar són doctors que van iniciar el camp dels models humans audiovisuals conjunts: el seu article JAM-Flow, a l'ECCV 2026, és el primer model humà audiovisual conjunt, en què la veu i la cara d'una persona que parla es tracten com un sol problema.

La feina cobreix les peces que necessita la traducció multimodal: els models humans audiovisuals conjunts, els models de vídeo ràpids, l'edició i la percepció multimodal. Tots els articles i congressos són a la visió general de la nostra recerca. El motiu és personal: An Zhu Liu, el CEO, de petit no podia parlar en anglès amb els seus companys de classe i el va aprendre mirant la televisió, una història que expliquem a la nostra pàgina de missió.

02. Per què el doblatge passava per eines separades?

Perquè cada peça es va resoldre primer pel seu compte. El doblatge automàtic va arribar com una cadena, i aquesta cadena és el que el va fer possible. També en va marcar el límit, i les eines que s'han fet des d'aleshores encara han de triar entre qualitat i temps. Les eines d'assistència arriben a la qualitat amb un equip d'artistes de VFX i setmanes per projecte, i cada llengua és un projecte nou. Les eines d'una sola passada són ràpides i renuncien a la resta: els seus llavis fallen amb una mà davant de la cara, un micròfon, un desenfocament, un bokeh, un pla de perfil o diverses persones en pantalla, sense raonament espacial i sense comprensió del món. Familiar és d'una sola passada i té la qualitat.

++

Familiar és el primer model fundacional de traducció multimodal: un sol model que porta les paraules, la veu, els llavis i l'escena a una nova llengua, tot alhora.

El contrast pas a pas és a Traducció audiovisual alhora, no en cascada; la definició, a El primer model fundacional de traducció multimodal.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Què vol dir obrir camí, aquí?

Tres coses, juntes per primera vegada. La primera és l'àudio i la imatge portats a la nova llengua alhora, per un sol model, de manera que les decisions encaixen: la veu és la del mateix actor, els llavis segueixen les paraules noves, i les rialles, el públic i la música es queden on eren.

La segona és l'ordre. Primer la traducció, i després el doblatge d'una sola passada: la veu, els llavis i l'escena alhora. Les paraules queden fixades, i revisades pels teus directors creatius, abans de posar-hi cap veu.

La tercera és el registre. Cada decisió que pren l'MLDM queda registrada en el treball, i pots modificar-ne qualsevol. El relat complet és a Les decisions del doblatge: com dirigeixen l'MLDM els directors creatius; què és l'MLDM, a l'article que el defineix.

04. Què decideix el model, i què tries tu?

Un resultat de recerca es converteix en un producte quan les persones que el fan servir en conserven el control. MLDM per a la feina feixuga. Les decisions creatives continuen sent teves.

05. Què està encara en preparació?

Obrir camí vol dir la primera versió, no l'última. Les opcions de traducció ja estan obertes avui; la resta del registre s'obre per etapes.

1. AVUI

   Els teus directors creatius revisen les decisions de traducció.

   Les versions amb el raonament de cadascuna; una llista de No traduir i una frase de context viatgen amb el treball.
2. EN PREPARACIÓ

   Les decisions d'àudio i d'imatge, a la mateixa revisió.

3. EN PREPARACIÓ

   El text de la imatge.

   La pantalla d'un mòbil, la coberta d'un llibre, una placa de carrer, escrits amb els termes que ja has triat; una marca o un nom es queden tal com es van rodar, decidit sobre la marxa: una bossa de Tostitos continua sent Tostitos.
4. EN PREPARACIÓ

   El doblatge en directe.

06. Què canvia per a les persones de la pantalla?

El doblatge humà queda fora de l'abast de la major part del món. Fins i tot les grans produccions només doblen unes quantes llengües, pel cost, la gent i el temps que exigeix; les produccions petites, les sèries i els drames verticals gairebé no doblen gens. Un model fundacional de traducció multimodal dona a tots ells la mateixa interpretació en una altra llengua: la veu, els llavis i les expressions de l'actor en 30 llengües, lliurats fins a 4K amb una mescla envoltant 5.1 real o estèreo en PCM de 24 bits (els lliurables).

La traducció arriba al 100.3% de la qualitat de la traducció humana experta: la iguala; els estudis són a /benchmark. No és «IA generativa», sinó traducció al servei dels creadors. De persona a persona, per arribar a molta més gent. Què vol dir per a un catàleg és a l'article per als estudis i les plataformes.

PREGUNTES