Traduzione audiovisiva in un solo passaggio, non a cascata

01. Cos'era l'era della cascata nel doppiaggio automatico?

Il doppiaggio automatico è nato come una cascata: quattro strumenti in fila, ognuno costruito e ottimizzato per conto suo, ognuno che passa il proprio risultato al successivo.

1. 01

   Trascrizione.

   Il riconoscimento vocale mette per iscritto ciò che è stato detto.
2. 02

   Traduzione.

   Un modello di testo rende la trascrizione nella nuova lingua, senza sentire la voce né vedere il volto.
3. 03

   Una voce.

   La sintesi vocale legge ad alta voce la traduzione, spesso con la voce di un estraneo.
4. 04

   Lip sync.

   Uno strumento a parte muove la bocca sul nuovo audio, quando ogni parola è già fissata.

Quella catena ha reso possibile il doppiaggio automatico. Il suo limite sta nella sua forma: ogni fase tira a indovinare senza le altre. La traduzione non può sapere che la battuta deve entrare in una bocca chiusa. La voce non può sapere in che stanza si trova. Una parola capita male o una battuta troppo lunga passa alla fase dopo, e l'errore si somma a ogni passaggio successivo.

Negli anni ogni strumento è migliorato: una trascrizione più pulita, una traduzione più precisa, una voce più naturale. Il doppiaggio finito è migliorato più lentamente, perché le cuciture tra gli strumenti sono rimaste dov'erano.

02. Cosa trova oggi chi compra?

In pratica la cascata arriva come una pila di strumenti: la trascrizione da uno, la traduzione da un altro, la voce da un terzo, lip sync e sottotitoli da un quarto. Correggere una battuta vuol dire rifare ogni fase successiva, e qualcuno nel tuo team deve tenere insieme i file. Gli strumenti che saltano la pila scambiano la qualità con il tempo. Gli strumenti di supporto raggiungono la qualità con un team di artisti VFX sulle inquadrature difficili: settimane per progetto, e ogni lingua è un progetto nuovo. Gli strumenti che fanno tutto in un colpo solo sono veloci e rinunciano al resto: la voce si allontana da quella di chi parla, l'ambiente sparisce, e il labiale cede con una mano davanti al volto, un microfono, una sfocatura, il bokeh, un'inquadratura di profilo o più persone in scena, senza ragionamento spaziale e senza comprensione del mondo. Familiar è il colpo solo e la qualità.

L'altra strada è il doppiaggio umano completo, traduzione e voce, a $70–150 per minuto finito. I costi, le persone e i tempi lo rendono irraggiungibile per la maggior parte del mondo: anche le grandi produzioni doppiano solo poche lingue, e le produzioni più piccole, le serie e i drama verticali per lo più non doppiano affatto.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Se stai valutando ElevenLabs Dubbing, ecco la loro documentazione, citata, accanto al nostro studio:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Cosa cambia quando un solo modello prende tutte le decisioni?

Familiar doppia con un modello decisionale multimodale per la localizzazione (MLDM). L'MLDM decide cosa localizzare e come, tra testo, audio e video, e le decisioni sono coerenti perché le prende un solo modello. La definizione è in Il primo modello di fondazione per la traduzione multimodale.

Quello che ti torna indietro è l'interpretazione dell'attore stesso in un'altra lingua: la sua voce, le sue labbra, le sue espressioni e l'audio della scena, trasferiti insieme. Un solo caricamento esce in tutte le lingue insieme: doppiaggi in 30 lingue, da riprese in una qualsiasi di 99 lingue di partenza.

Decidere tutto insieme cambia anche ciò che può andare storto. Una battuta che sarebbe troppo lunga viene resa in modo da rispettare i tempi e la bocca prima che nasca qualsiasi voce. Una risata a metà frase resta una risata. Quando due persone si parlano sopra, il modello sa chi dice quale battuta, così si muovono le labbra giuste.

04. Cosa cambia nel doppiaggio finito?

Facciamo passare le stesse clip in entrambi i sistemi e le valutiamo allo stesso modo. Ogni dato viene dal proprio studio, pubblicato nel benchmark.

Si misura anche la voce: Familiar suona il 27.8% più simile alla voce reale di chi parla rispetto a ElevenLabs Dubbing v1, più vicina in tutte e 11 le lingue, nello studio citato sopra.

Il doppiaggio automatico di YouTube ha mostrato il 232.6% in più di errori sui suoni di sottofondo nel suo studio. La scena sopravvive perché l'MLDM sente tutto ciò che c'è nella traccia, le risate, la folla, la musica, individua la voce principale, la porta nella nuova lingua con la voce stessa di chi parla e lascia il resto com'era.

05. Cosa vuol dire "prima la traduzione, poi il doppiaggio in un colpo solo"?

++

Prima la traduzione, poi il doppiaggio in un colpo solo: la voce, le labbra e la scena insieme.

L'ordine conta. Prima arriva la traduzione, e i tuoi direttori creativi la revisionano: dove una battuta si può rendere in più modi, vedono le traduzioni con le motivazioni di ciascuna e ne scelgono una. Solo allora nasce il doppiaggio, una volta sola. Niente di nuovo viene inventato. Non “AI generativa”, ma traduzione al servizio dei creativi. MLDM per il lavoro più noioso.

I sottotitoli sono tagliati secondo le convenzioni del Timed Text Style Guide di Netflix, lo standard dei modelli di sottotitoli su cui lavora il settore. Ogni doppiaggio viene elaborato sul cluster a otto cifre di GPU NVIDIA B300 di proprietà di Familiar, a Toronto, in Canada, mai su un cloud pubblico come Google Cloud o AWS e mai da fornitori di inferenza esterni. I file sono nella documentazione sugli output, l'elaborazione nell'inferenza privata, e cosa significa per un catalogo in Cosa significa un modello di fondazione per la traduzione multimodale per studi e piattaforme.

06. Chi ha l'ultima parola?

1. OGGI

   I tuoi direttori creativi revisionano le decisioni sulla traduzione.

   Le traduzioni possibili con le motivazioni di ciascuna; ne scelgono una prima che esca qualsiasi cosa.
2. OGGI

   Una lista Non Tradurre e una frase di contesto accompagnano il lavoro.

3. IN LAVORAZIONE

   Le decisioni su audio e video, nella stessa revisione.

   Cosa resta in lingua originale, un volto diverso quando il modello ha individuato la persona sbagliata, e il testo nell'inquadratura.

Per un catalogo cambia la portata. Una serie che sarebbe rimasta in una lingua può uscire in 30 insieme, con le interpretazioni degli attori stessi, mentre il tuo team continua a prendere ogni decisione che conta.

È lo storico delle decisioni; la storia completa è in Lo storico delle decisioni: come i direttori creativi guidano l'MLDM, e cosa decide il modello in Che cos'è MLDM. La ricerca alla base è in Pionieri della traduzione multimodale. Da persona a persona, per arrivare più lontano.

DOMANDE