Traducció audiovisual alhora, no en cascada

01. Què va ser l'era de la cascada en el doblatge automàtic?

El doblatge automàtic va néixer com una cascada: quatre eines en fila, cadascuna construïda i ajustada pel seu compte, i cadascuna passant el seu resultat a la següent.

1. 01

   Transcripció.

   La conversió de veu a text escriu el que s'ha dit.
2. 02

   Traducció.

   Un model de text passa la transcripció a la nova llengua, sense sentir la veu ni veure la cara.
3. 03

   Una veu.

   La conversió de text a veu llegeix la traducció en veu alta, sovint amb la veu d'un desconegut.
4. 04

   Sincronització labial.

   Una eina a part mou la boca segons l'àudio nou, quan ja s'han fixat totes les paraules.

Aquesta cadena va fer possible el doblatge automàtic. El seu límit és en la seva forma: cada etapa endevina sense les altres. La traducció no pot saber que la línia s'ha d'ajustar a una boca tancada. La veu no pot saber en quina sala sona. Una paraula mal entesa o una línia que s'allarga passen avall, i l'error s'acumula a cada etapa posterior.

Cada eina ha millorat amb els anys: una transcripció més neta, una traducció més precisa, una veu més natural. El doblatge acabat ha millorat més a poc a poc, perquè les costures entre les eines s'han quedat on eren.

02. Què es troba avui qui compra doblatge?

A la pràctica, la cascada arriba com una pila d'eines: la transcripció d'una, la traducció d'una altra, una veu d'una tercera, la sincronització labial i els subtítols d'una quarta. Corregir una línia vol dir tornar a passar per totes les etapes posteriors, i algú del teu equip ha de mantenir els fitxers lligats. Les eines que se salten la pila sacrifiquen la qualitat o el temps. Les eines d'assistència arriben a la qualitat amb un equip d'artistes de VFX als plans difícils: setmanes per projecte, i cada llengua és un projecte nou. Les eines d'una sola passada són ràpides i renuncien a la resta: la veu s'allunya de l'original, l'ambient de la sala desapareix i els llavis fallen amb una mà davant de la cara, un micròfon, un desenfocament, un bokeh, un pla de perfil o diverses persones en pantalla, sense raonament espacial i sense comprensió del món. Familiar és d'una sola passada i té la qualitat.

L'altre camí és el doblatge humà complet, traducció i veu, a $70–150 per minut acabat. El cost, la gent i el temps que exigeix el deixen fora de l'abast de la major part del món: fins i tot les grans produccions només doblen unes quantes llengües, i les produccions petites, les sèries i els drames verticals gairebé no doblen gens.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Si estàs valorant ElevenLabs Dubbing, aquí tens la seva documentació, citada, al costat del nostre estudi:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Què canvia quan un sol model pren totes les decisions?

Familiar dobla amb un model multimodal de decisió de localització (MLDM). L'MLDM decideix què cal localitzar i com, en el text, l'àudio i la imatge, i les decisions encaixen perquè les pren un sol model. La definició és a El primer model fundacional de traducció multimodal.

El que et torna és la interpretació del mateix actor en una altra llengua: la seva veu, els seus llavis, les seves expressions i el so de l'escena, portats a l'altra banda alhora. Una sola pujada surt en totes les llengües alhora: doblatges en 30 llengües, a partir de material en qualsevol de 99 llengües d'origen.

Decidir-ho tot alhora també canvia el que pot fallar. Una línia que s'allargaria s'ajusta al temps i a la boca abans de fer cap veu. Una rialla enmig d'una frase continua sent una rialla. Quan dues persones parlen l'una sobre l'altra, el model sap qui diu cada línia, i es mouen els llavis que toca.

04. Què canvia això en el doblatge acabat?

Passem els mateixos clips pels dos sistemes i els puntuem de la mateixa manera. Cada xifra prové del seu propi estudi, publicat a el benchmark.

També es mesura la veu: Familiar s'assembla un 27.8% més al parlant real que ElevenLabs Dubbing v1, més propera en les 11 llengües, en l'estudi citat més amunt.

El doblatge automàtic de YouTube va mostrar un 232.6% més d'error en el so de fons en el seu propi estudi. L'escena sobreviu perquè l'MLDM sent tot el que hi ha a la pista, les rialles, el públic, la música, troba la veu principal, la porta a la nova llengua amb la veu pròpia del parlant i deixa la resta tal com estava.

05. Què vol dir «primer la traducció, i després el doblatge d'una sola passada»?

++

Primer la traducció, i després el doblatge d'una sola passada: la veu, els llavis i l'escena alhora.

L'ordre importa. Primer arriba la traducció, i els teus directors creatius la revisen: quan una línia es pot entendre de més d'una manera, veuen les versions amb el raonament de cadascuna i en trien una. Només aleshores es fa el doblatge, una sola vegada. No s'inventa res de nou. No és «IA generativa», sinó traducció al servei dels creadors. MLDM per a la feina feixuga.

Els subtítols es tallen segons les convencions de la Timed Text Style Guide de Netflix, l'estàndard de plantilles de subtítols amb què treballa la indústria. Cada doblatge es processa al clúster propi de Familiar de GPU NVIDIA B300, valorat en desenes de milions de dòlars, a Toronto, al Canadà, mai en un núvol públic com Google Cloud o AWS, i mai a través d'un proveïdor d'inferència extern. Els fitxers són a la documentació dels lliurables, el processament a inferència privada, i què vol dir tot plegat per a un catàleg a Què vol dir un model fundacional de traducció multimodal per als estudis i les plataformes.

06. Qui té l'última paraula?

1. AVUI

   Els teus directors creatius revisen les decisions de traducció.

   Les versions amb el raonament de cadascuna; en trien una abans que no surti res.
2. AVUI

   Una llista de No traduir i una frase de context viatgen amb el treball.

3. EN PREPARACIÓ

   Les decisions d'àudio i d'imatge, a la mateixa revisió.

   Què es manté en la llengua original, una altra cara quan el model s'ha equivocat de parlant, i el text de la imatge.

El que canvia per a un catàleg és l'abast. Una sèrie que s'hauria quedat en una sola llengua pot sortir en 30 alhora, amb la interpretació pròpia dels actors, mentre el teu equip continua prenent totes les decisions que importen.

Això són les decisions del doblatge; la història completa és a Les decisions del doblatge: com dirigeixen l'MLDM els directors creatius, i el que decideix el model, a Què és un model multimodal de decisió de localització (MLDM)?. La recerca que hi ha al darrere és a Pioners de la traducció multimodal. De persona a persona, per arribar a molta més gent.

PREGUNTES