El primer model fundacional de traducció multimodal

01. Què és un model fundacional de traducció multimodal?

Un vídeo diu més que les seves paraules. La veu de qui parla, com es mou la seva boca, les rialles de la sala i la música sota una escena també tenen sentit. Traduir bé un vídeo vol dir portar-ho tot a l'altra banda, i que tot hi encaixi: la línia s'ha d'ajustar a la boca, la veu ha de sonar dins de l'escena i la persona de la pantalla ha de continuar sent exactament qui és.

Un model fundacional de traducció multimodal és un sol model que fa tota aquesta feina. Pren les imatges com un tot i decideix com ha d'arribar cada part a la nova llengua. Familiar n'ha construït el primer, i l'anomena MLDM.

02. Per què el doblatge passava per eines separades fins ara?

El doblatge humà sempre ha quedat fora de l'abast de la major part del món. Fins i tot les grans produccions només doblen unes quantes llengües pel cost, la gent i el temps que exigeix, i les produccions petites, les sèries i els drames verticals no doblen gens. Un doblatge humà complet, traducció i veu, costa entre $70 i $150 per minut acabat.

03. Què canvia quan un sol model ho porta tot alhora?

++

Traducció audiovisual alhora, no en cascada: la primera del seu gènere.

Arriba la interpretació del mateix actor: la seva pròpia veu, els seus llavis movent-se amb les paraules noves, les seves expressions i el so de l'escena que l'envolta. Les rialles, el públic i la música es queden tal com estaven. Amb els mateixos clips, YouTube tenia un 232.6% més d'error en el so de fons que Familiar. Pel que fa només a les paraules, la traducció iguala la primera versió d'un professional expert: el 100.3% de la seva qualitat. Les xifres completes són a el benchmark.

També canvia la feina que envolta un doblatge. Avui, la via d'alta qualitat és l'assistida: un equip d'artistes de VFX treballa pla per pla durant setmanes, i cada llengua és un projecte nou. Les eines d'una sola passada que hi ha avui són ràpides i renuncien a la resta: la traducció no es pot editar, la música i l'ambient de la sala desapareixen, i els llavis fallen en els plans més habituals, una mà davant de la cara, un micròfon, un desenfocament, un bokeh, un pla de perfil, diverses persones en pantalla. Sense raonament espacial, sense comprensió del món. Familiar és d'una sola passada i té la qualitat: una sola pujada porta un vídeo a totes les llengües que triïs, alhora, i les decisions encaixen perquè les pren un sol model, de manera que no cal tornar a cosir res a mà.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Què decideix l'MLDM, i què tries tu?

El model multimodal de decisió de localització és el model mateix. L'MLDM decideix què cal localitzar i com, en el text, l'àudio i la imatge. La definició completa és a Què és un model multimodal de decisió de localització (MLDM)?

1. AVUI

   Les decisions de traducció, revisades pels teus directors creatius.

   Cada decisió queda registrada en el treball. Pots modificar-ne qualsevol.
2. EN PREPARACIÓ

   Les decisions d'àudio i d'imatge, a la mateixa revisió.

3. EN PREPARACIÓ

   El text de la imatge, i el doblatge en directe.

   La pantalla d'un mòbil o una placa de carrer escrits amb els termes que ja has triat; una marca o un nom es queden tal com es van rodar, decidit sobre la marxa: una bossa de Tostitos continua sent Tostitos.

El registre d'aquestes tries és a Les decisions del doblatge: com dirigeixen l'MLDM els directors creatius.

05. Què guanya un estudi amb un model fundacional?

MLDM per a la feina feixuga. Les decisions creatives es queden en mans de les persones que han fet l'obra; el model porta la resta a totes les llengües alhora.

Cada doblatge es processa en aquest clúster, mai a través d'un proveïdor d'inferència extern, i per això el teu material no es filtra mai. Els detalls són a la documentació de la inferència privada i la documentació dels lliurables. Al darrere hi ha doctors que van iniciar el camp dels models humans audiovisuals conjunts: 22 articles, més de 10.000 citacions, amb el Prof. Xu Zheng i el Prof. Youngjung Uh com a assessors, i el suport de Samsung, RedBird i Gold House. Els articles són a la nostra recerca.

06. Un model fundacional de traducció és IA generativa?

No en el sentit tradicional. IBM defineix la IA generativa així:

És una eina potent per fer coses noves. L'MLDM no té cap prompt i no s'inventa res de nou: porta el que ja hi ha a una altra llengua. No és «IA generativa», sinó traducció al servei dels creadors. De persona a persona, per arribar a molta més gent.

Els altres articles d'aquesta sèrie: Traducció audiovisual alhora, no en cascada, Què vol dir un model fundacional de traducció multimodal per als estudis i les plataformes i Pioners de la traducció multimodal.

PREGUNTES