SPIEGAZIONE

La traduzione non è generazione

FAMILIAR RICERCAAGGIORNATO TUTTI GLI ARTICOLI

SOMMARIO

Non “AI generativa”, ma traduzione al servizio dei creativi. Generare e tradurre sono due verbi diversi. Generare parte da un prompt e crea qualcosa che non esisteva. Tradurre parte da qualcosa che esiste già, un'interpretazione, e la porta in un'altra lingua. Familiar è un nuovo paradigma, il primo nel suo genere: un modello decisionale multimodale per la localizzazione (MLDM), il primo modello di fondazione per la traduzione multimodale. L'attore, i tempi e la scena restano; le parole, la bocca e la traccia vocale cambiano per adattarsi alla nuova lingua.
IL PRIMO MODELLO DI FONDAZIONE PER LA TRADUZIONE MULTIMODALE

Due verbi

L'AI generativa è ottima per creare cose nuove: entra un prompt, escono contenuti nuovi, e il senso è proprio che il risultato sia nuovo. La traduzione ha lo scopo opposto.

TraduzioneL'ALTRO VERBO

Entra un'interpretazione, ed esce la stessa interpretazione in un'altra lingua.

GENERARE

  • In entrata: un prompt
  • In uscita: contenuti nuovi
  • Si misura su: quanto il risultato è nuovo e riuscito

TRADURRE

  • In entrata: un'interpretazione finita
  • In uscita: la stessa interpretazione in un'altra lingua
  • Si misura su: quanto resta fedele all'originale

Ogni traduttore, umano o automatico, si giudica da quanto poco inventa.

Cosa resta, cosa cambia

L'attore
CAMBIALe parole
Il volto
CAMBIAI movimenti della bocca
I tempi
CAMBIALa traccia vocale, nella nuova lingua
L'audio della scena: risate, musica, atmosfera
CAMBIA

La voce nella nuova lingua è quella dell'attore, presa dalla clip stessa. Nomi e tormentoni restano esattamente come sono stati detti, grazie a una lista Non Tradurre; le battute vengono riscritte perché funzionino nella lingua di destinazione.

Perché il lip sync fa parte della traduzione

Non ascoltiamo il parlato solo con le orecchie. Nell'effetto McGurk, una voce che dice [b] doppiata su un volto che dice [g] viene di solito percepita come [d], un suono che nessuno dei due canali conteneva (Tiippana, 2014, che descrive McGurk e MacDonald, 1976). Il cervello fonde ciò che vede con ciò che sente.
VOCE [b] + VOLTO [g] = SI SENTE [d]

Un doppiaggio solo vocale lascia quella discrepanza in ogni fotogramma: la bocca parla una lingua e la colonna sonora un'altra, e capire diventa più faticoso. Così la bocca diventa parte del messaggio. Tradurre un'interpretazione significa tradurre le labbra insieme alle parole, ed è per questo che in un doppiaggio Familiar le labbra seguono le nuove parole (le FAQ, "Perché il lip sync è importante?").

I direttori creativi revisionano prima dell'uscita

Alcune battute si possono rendere in più modi: una gag, una frecciatina, una frase che può suonare sincera o asciutta. In questi casi tornano tre traduzioni con intenzione ed emozione diverse; lo stesso vale per il gergo lasciato così com'è stato detto e per il turpiloquio attenuato in una versione destinata ai più giovani. Il team ne sceglie una, modifica qualsiasi battuta confrontandola con l'originale e solo allora avvia il rendering.

MLDM per il lavoro più noioso.

La parte noiosa del doppiaggio è decidere quale voce e come seguono le labbra, per ogni battuta in ogni lingua. Lo decide l'MLDM, che registra ogni decisione insieme al lavoro, così il tuo team può modificarne qualsiasi. In lavorazione: scegliere quali suoni restano in lingua originale, un coro o un urlo, e quale volto o testo sullo schermo tradurre. Le scelte che fanno un buon doppiaggio, quale battuta arriva, quale tono funziona, quale nome resta, restano alle persone che hanno realizzato l'opera.

++
Tutti i dati con cui abbiamo addestrato il modello li ha creati in prima persona il team di Familiar.

Siamo uno strumento in più nel processo creativo.

DOMANDE

Familiar è AI generativa?

No. Familiar è un modello decisionale multimodale per la localizzazione (MLDM): decide come localizzare ciò che c'è già, senza prompt. Carichi il tuo video ed esce la stessa interpretazione in un'altra lingua. Tutti i dati con cui abbiamo addestrato il modello li ha creati in prima persona il team di Familiar. Siamo uno strumento in più nel processo creativo.

Che fine fanno la musica e gli effetti sonori?

Restano. Le risate, la musica e i bassi, gli effetti sonori e l'atmosfera rimangono sotto i nuovi dialoghi.

Posso correggere la traduzione?

Sì. Ogni video si ferma a una schermata di revisione dove modifichi qualsiasi battuta confrontandola con l'originale, prima del rendering.

RIFERIMENTI

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, letto il 24 ottobre 2026
  2. [2]FAQ di Familiar: perché il lip sync è importante?
  3. [3]Lip sync AI: cos'è, cosa gli sfugge, cosa lo batte
  4. [4]Perché Familiar non è AI generativa tradizionale
  5. [5]Uno strumento in più nel processo creativo

Traduzione multimodale

Familiar Labs realizza un doppiaggio di nuova generazione con un modello decisionale multimodale per la localizzazione (MLDM), il primo modello di fondazione per la traduzione multimodale: un solo modello decide cosa localizzare tra testo, audio e video, e ti mostra le scelte. La tua voce e le tue labbra, portate in nuove lingue. Un team di 8 persone con dottorati di ricerca, sostenuto da Samsung, RedBird e Gold House. La nostra missione