CONTROL

Les decisions del doblatge: com dirigeixen l'MLDM els directors creatius

FAMILIAR RECERCAACTUALITZAT TOTS ELS ARTICLES
LLEGEIX-HO ENEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

RESUM

L'MLDM és el primer model fundacional de traducció multimodal, un nou paradigma, el primer del seu gènere. Cada decisió que pren queda registrada en el doblatge: la consultes, la modifiques i en guardes la tria per al capítol següent. Les decisions de traducció ja es revisen avui; les d'àudio i d'imatge estan en preparació.
EL PRIMER MODEL FUNDACIONAL DE TRADUCCIÓ MULTIMODAL

Les decisions que ja dirigeixes avui

  1. 01

    Primer torna la traducció.

  2. 02

    Quan una línia es pot entendre de més d'una manera, el pas de revisió en retorna tres versions, cadascuna amb una intenció i una emoció diferents, i el raonament de cadascuna.

  3. 03

    Els teus directors creatius en trien una o n'escriuen una de pròpia, i es fa la renderització.

La mateixa revisió abasta les decisions de localització, començant pel que no cal traduir: l'argot tal com es va dir, el nom i la marca que es mantenen, una referència canviada per una que el públic conegui, el que aquella cultura evita i les paraulotes suavitzades per a una versió per a un públic més jove.

Un joc de paraules, del coreà a l'anglès

«사과하려고 사과 사 왔어.» es basa en el doble sentit de 사과, que vol dir alhora disculpa i poma. Tornen tres versions:

  • "Apples. I'm sorry, right down to the core." Es manté el joc de paraules.
  • "I came to say sorry. I brought apples." Només el sentit.
  • "An apple a day keeps the silent treatment away." Un acudit nou.

El director creatiu va triar la primera i la va retocar.

Una pulla, del xinès a l'anglès

«你可真行啊。» es pot llegir com un elogi o com una pulla, segons l'escena:

  • "Wow. You're incredible." Sincer.
  • "Well, aren't you something." Sarcàstic, la triada.
  • "Look at you, hotshot." Burleta.

Un pòdcast, un capítol o una pel·lícula en tenen molts, d'aquests fragments: els acudits, les converses, les històries.

Les decisions d'àudio

L'MLDM decideix què cal traduir i què no. Troba la veu principal, la porta a la nova llengua amb la veu pròpia del parlant i deixa la resta tal com estava. Mostrar al teu equip cada cas dubtós de l'àudio està en preparació.

El que es queda en la llengua original: un càntic d'estadi, mantingut en coreà; un crit d'una punta a l'altra d'una cuina; una frase feta que els fans coneixen. Algú que parla al fons i no s'entén es queda tal com estava, o torna com una opció per traduir-lo igualment.

Les decisions d'imatge

EN PREPARACIÓ

QUI HO DIU DE VERITAT
QUÈ QUEDA REGISTRATLa cara de la qual surt una línia, el narrador, la veu fora de camp.
QUÈ POTS FERQuan el model s'equivoca de parlant, tries la cara entre les candidates, i els llavis es mouen en la persona correcta.
EL TEXT DE LA IMATGE
QUÈ QUEDA REGISTRATLa pantalla del mòbil que diu 내일 봐, una placa de carrer, un aparador, i el que el model ha decidit sobre la marxa mantenir tal com es va rodar: la marca d'una bossa de Tostitos, un nom.
QUÈ POTS FERCada element s'escriu amb els termes que ja has triat, com "See you tomorrow", o es manté tal com es va rodar.
EXPRESSIONS I GESTOS
QUÈ QUEDA REGISTRATSegueixen l'èmfasi de la línia nova o la cultura.
QUÈ POTS FERUna cella aixecada que el públic nou llegeix d'una altra manera es pot mantenir tal com es va rodar.

Registrat en el doblatge

El registre és el que fa de l'MLDM un nou paradigma, el primer del seu gènere: un model que mostra les seves decisions.

++
Les decisions del doblatge, en preparació, guarden cada decisió amb les seves opcions, el raonament, què es va triar i qui ho va triar: el model, tu o la memòria.

Estan obertes a la revisió i es bloquegen a la renderització. Canvia una decisió d'un doblatge ja lliurat i torna'l a renderitzar; només es tornen a renderitzar les llengües afectades. Un doblatge renderitzat amb review=auto també deixa registrades les decisions, amb les tries del model. El doblatge mateix es fa d'una sola passada a partir d'aquestes decisions: la veu, els llavis i l'escena alhora. Les eines d'una sola passada que hi ha avui funcionen al revés: puges el vídeo una vegada i et quedes amb el que surti. La via d'alta qualitat, en canvi, manté el control a mà, amb una eina d'assistència, un equip d'artistes de VFX i setmanes per projecte. Familiar és d'una sola passada i té la qualitat.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Una tria feta un cop es manté al capítol següent

  1. AVUI

    Avui ja funcionen dues decisions permanents.

    No traduir manté una expressió tal com es va dir, i Context dona la indicació d'una sola frase; totes dues es fixen abans del doblatge. El registre guarda les decisions que el model ha pres durant el doblatge.
  2. EN PREPARACIÓ

    Memòria de decisions.

    Recorda una modificació per a un creador, sigui un programa, un canal o una persona, i el doblatge següent l'aplica primer quan torna la mateixa línia, el mateix terme, nom, càntic, rètol o cara. La frase feta mantinguda en l'original passa al capítol 2 sense una segona revisió.

A la pantalla de revisió i a l'API

En preparació: la pantalla de revisió incorpora una franja de decisions. Una línia de temps del capítol porta una marca per decisió, filtrada per traducció, àudio o imatge; cada targeta mostra el moment, les opcions amb el raonament i la tria del model destacada. Amb un toc en tries una altra opció, n'escrius una de pròpia, mantens l'original o recordes la tria per a aquest creador.

L'API retorna el mateix registre, de manera que una tria feta a la pantalla es veu a l'API, i a l'inrevés. La superfície prevista, tota en preparació:

GET /v1/dubs/{dub_id}/decisions
QUÈ FALlegeix el registre.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
QUÈ FAModifica una decisió.
decisions.*
QUÈ FALa configuració d'un doblatge nou fixa quantes versions tornen, el nivell de paraulotes i quines decisions et tornen a tu.
dub.decisions_ready
QUÈ FAEl webhook s'activa quan el registre està obert.
decisions.json
QUÈ FAConté el registre complet amb cada doblatge lliurat.

La referència és a Decisions; el pas de revisió d'avui és a Transcript & review.

PREGUNTES

Quines decisions puc canviar avui?

Les de traducció. Una línia que es pot entendre de més d'una manera torna amb tres versions, cadascuna amb el seu raonament; els teus directors creatius en trien una o n'escriuen una de pròpia, i es fa la renderització. Les decisions d'àudio i d'imatge estan en preparació.

Puc mantenir un càntic en la llengua original?

Aquesta opció està en preparació. Un càntic d'estadi, un crit o una frase feta tornaran com una decisió d'àudio que pots mantenir en la llengua d'origen, i la tria es pot mantenir al capítol següent.

I si el model s'ha equivocat de cara?

Triar una altra cara està en preparació. La línia tornarà amb les cares candidates; tries el parlant correcte, i els llavis es mouen en aquella persona.

Una tria es manté al capítol següent?

La memòria de decisions està en preparació: una modificació recordada per a un creador s'aplica primer al doblatge següent. Avui No traduir i Context es mantenen en els doblatges per als quals els configures.

Amb review=auto també queden registrades les decisions?

Sí. En el registre previst, un doblatge renderitzat sense revisió també deixa escrita cada decisió amb la tria del model, consultable després de la renderització. En pots canviar una i tornar a renderitzar.

Això és IA generativa?

No. L'MLDM és un nou paradigma, el primer del seu gènere. No hi ha cap prompt i no s'inventa res de nou: decideix com localitzar el que ja hi ha, i et mostra aquestes decisions.

REFERÈNCIES

  1. [1]Què és un model multimodal de decisió de localització (MLDM)?
  2. [2]API: Decisions
  3. [3]API: Transcript & review

Traducció multimodal

Familiar Labs fa un doblatge d'una altra generació amb un model multimodal de decisió de localització (MLDM), el primer model fundacional de traducció multimodal: un sol model decideix què cal localitzar en el text, l'àudio i la imatge, i et mostra les opcions. La teva veu i els teus llavis, portats a llengües noves. Un equip de 8 persones amb doctorats, amb el suport de Samsung, RedBird i Gold House. La nostra missió

Mira el benchmark complet →Parla amb l'equip