RESUM
Què decideix l'MLDM?
LES OPCIONS QUE VEUS
Per què un sol model?
UNA CADENA D'EINES
- Transcripció de la parla, després traducció, després una veu, després sincronització labial, i cada etapa ajustada pel seu compte.
- Aquesta cadena va fer possible el doblatge automàtic.
- Cada etapa continua endevinant sense les altres, i els errors s'acumulen d'una etapa a la següent.
UN SOL MODEL FUNDACIONAL, EL PRIMER DEL SEU GÈNERE
- L'MLDM pren les decisions alhora.
- La traducció sap a quina boca s'ha d'ajustar.
- La veu sap en quina escena sona.
- La persona no canvia mai.
Traducció audiovisual alhora, no en cascada: la primera del seu gènere. Això és el que fa de l'MLDM el primer model fundacional de traducció multimodal: un sol model que porta les paraules, la veu, els llavis i l'escena a una nova llengua, tot alhora. Avui, la via d'alta qualitat és l'assistida: un equip d'artistes de VFX i setmanes per projecte, i cada llengua és un projecte nou. Les eines d'una sola passada que hi ha avui són ràpides i renuncien a la resta. Familiar és d'una sola passada i té la qualitat.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Quina diferència hi ha entre localització i traducció?
La traducció són les paraules. La localització és el que una cultura necessita d'aquestes paraules.
L'MLDM és IA generativa?
No. IBM la defineix així:
La IA generativa, de vegades anomenada gen AI, és la intel·ligència artificial (IA) que pot crear contingut original, com ara text, imatges, vídeo, àudio o codi de programari, en resposta al prompt o a la petició d'un usuari.
És una eina potent per fer coses noves. L'MLDM no té cap prompt i no s'inventa res de nou: decideix com localitzar el que ja hi ha. La posició completa és a Per què Familiar no és IA generativa tradicional i Traduir no és generar.
De qui són les decisions?
Teves. Cada decisió que pren l'MLDM queda registrada en el doblatge, a les decisions del doblatge.
- AVUI
Els teus directors creatius revisen les decisions de traducció.
Les versions amb el raonament de cadascuna; en trien una abans que no surti res. - AVUI
Una llista de No traduir i una frase de context viatgen amb el treball.
- EN PREPARACIÓ
Les decisions d'àudio i d'imatge, a la mateixa revisió.
- EN PREPARACIÓ
Memòria de decisions.
Una modificació recordada per a un creador s'aplica primer al doblatge següent, de manera que una tria feta un cop es manté al capítol següent.
La història completa és a Les decisions del doblatge: com dirigeixen l'MLDM els directors creatius; l'API prevista és a la documentació de les decisions.
PREGUNTES
Què vol dir MLDM?
MLDM vol dir model multimodal de decisió de localització (Multimodal Localization Decision Model), un nou paradigma i el primer del seu gènere: un sol model que decideix què cal localitzar i com, en el text, l'àudio i la imatge. Tria la versió d'una línia, què cal traduir a l'àudio, qui parla a la pantalla i com el segueixen els llavis, les expressions i els gestos.
L'MLDM és un model de vídeo?
No en el sentit habitual. L'MLDM treballa amb imatges que ja existeixen i decideix com localitzar-les: les paraules, la veu, els llavis i les expressions. La persona de la pantalla continua sent exactament qui és, en totes les llengües.
L'MLDM genera imatges noves?
No. No hi ha cap prompt i no s'inventa res de nou. L'MLDM decideix com localitzar el que ja hi ha: l'actor, el ritme i l'escena es mantenen, mentre que les paraules, la pista de veu i els llavis canvien per encaixar amb la nova llengua.
Què decideix l'MLDM a l'àudio?
Què cal traduir i què no. Troba la veu principal i la porta a la nova llengua amb la veu pròpia del parlant. Les rialles, el públic, un crit i algú que parla al fons i no s'entén es queden tal com estaven.
L'MLDM canvia les expressions?
Quan l'èmfasi o la cultura ho demanen. Els llavis segueixen les paraules noves a cada línia; les expressions i els gestos les segueixen quan una línia arriba d'una altra manera en la nova llengua. La persona continua sent exactament qui és.
L'MLDM tradueix el text de la pantalla?
Encara no. El text de la imatge, com la pantalla d'un mòbil, la coberta d'un llibre, una placa de carrer o un aparador, s'està integrant ara, escrit amb els termes que ja has triat; el model decideix sobre la marxa què es queda tal com es va rodar, una marca, un nom, l'argot: una bossa de Tostitos continua sent Tostitos. Avui es localitzen les paraules, la veu, els llavis, les expressions i els gestos.
Puc canviar una decisió que ha pres el model?
Sí. Cada decisió queda registrada en el treball i la pots modificar. Avui els teus directors creatius trien entre les versions de la traducció, cadascuna amb el seu raonament, i una tria feta un cop es manté al capítol següent.
El model mostra les seves opcions a l'àudio i al vídeo?
Les opcions de traducció es mostren avui. Les opcions d'àudio, com ara què es manté en la llengua original, i les d'imatge, com triar una altra cara o quin text de la imatge cal traduir, estan en preparació.
REFERÈNCIES
Traducció multimodal
Familiar Labs fa un doblatge d'una altra generació amb un model multimodal de decisió de localització (MLDM), el primer model fundacional de traducció multimodal: un sol model decideix què cal localitzar en el text, l'àudio i la imatge, i et mostra les opcions. La teva veu i els teus llavis, portats a llengües noves. Un equip de 8 persones amb doctorats, amb el suport de Samsung, RedBird i Gold House. La nostra missió