Il primo modello di fondazione per la traduzione multimodale

01. Cos'è un modello di fondazione per la traduzione multimodale?

Un video dice più delle sue parole. La voce di chi parla, il modo in cui si muove la sua bocca, le risate nella stanza e la musica sotto una scena portano tutti un significato. Tradurre bene un video vuol dire trasferire tutto questo e mantenerlo coerente: la battuta deve entrare nella bocca, la voce deve stare dentro la scena e la persona sullo schermo deve restare esattamente chi è.

Un modello di fondazione per la traduzione multimodale è un solo modello che fa tutto questo lavoro. Prende le riprese come un'unica cosa e decide come deve arrivare ogni parte nella nuova lingua. Familiar ha costruito il primo e lo chiama MLDM.

02. Perché finora il doppiaggio passava per strumenti separati?

Il doppiaggio umano è sempre rimasto fuori portata per la maggior parte del mondo. Anche le grandi produzioni doppiano solo poche lingue, per i costi, le persone e i tempi che richiede; le produzioni più piccole, le serie e i drama verticali non doppiano affatto. Un doppiaggio umano completo, traduzione più voce, costa da $70 a $150 per minuto finito.

03. Cosa cambia quando un solo modello fa tutto in una volta?

++

Traduzione audiovisiva in un solo passaggio, non a cascata: la prima nel suo genere.

Arriva l'interpretazione dello stesso attore: la sua voce, le sue labbra che si muovono sulle nuove parole, le sue espressioni e l'audio della scena intorno a lui. Le risate, la folla e la musica restano come erano. Sulle stesse clip, YouTube ha avuto il 232.6% in più di errori sui suoni di sottofondo rispetto a Familiar. Sulle sole parole, la traduzione è alla pari con la prima stesura del professionista esperto: il 100.3% della sua qualità. I numeri completi sono nel benchmark.

Cambia anche il lavoro intorno a un doppiaggio. Oggi la strada dell'alta qualità passa dagli strumenti di supporto: un team di artisti VFX lavora inquadratura per inquadratura per settimane, e ogni lingua è un progetto nuovo. Gli strumenti che oggi fanno tutto in un colpo solo sono veloci e rinunciano al resto: la traduzione non si può modificare, la musica e l'ambiente spariscono, e il labiale cede sulle inquadrature più comuni, una mano davanti al volto, un microfono, una sfocatura, il bokeh, un'inquadratura di profilo, più persone in scena. Niente ragionamento spaziale, nessuna comprensione del mondo. Familiar è il colpo solo e la qualità: un solo caricamento porta un video in tutte le lingue che scegli, insieme, e le decisioni sono coerenti perché le prende un solo modello, quindi non c'è niente da ricucire a mano.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Cosa decide MLDM, e cosa scegli tu?

Il modello decisionale multimodale per la localizzazione è il modello stesso. L'MLDM decide cosa localizzare e come, tra testo, audio e video. La definizione completa è in Che cos'è un modello decisionale multimodale per la localizzazione (MLDM)?

1. OGGI

   Le decisioni sulla traduzione, revisionate dai tuoi direttori creativi.

   Ogni decisione viene registrata insieme al lavoro. Puoi modificarne qualsiasi parte.
2. IN LAVORAZIONE

   Le decisioni su audio e video, nella stessa revisione.

3. IN LAVORAZIONE

   Il testo nell'inquadratura e il doppiaggio live.

   Lo schermo di un telefono o un cartello stradale scritti con i termini che hai già scelto; un marchio o un nome restano così come sono stati girati, decisi al volo: un sacchetto di Tostitos resta Tostitos.

Lo storico di queste scelte è in Lo storico delle decisioni: come i direttori creativi guidano l'MLDM.

05. Cosa ottiene uno studio da un modello di fondazione?

MLDM per il lavoro più noioso. Le scelte creative restano a chi ha fatto l'opera; il modello porta il resto in tutte le lingue, insieme.

Ogni doppiaggio viene elaborato su quel cluster, mai da fornitori di inferenza esterni, per questo i tuoi video non trapelano mai. I dettagli sono nella documentazione sull'inferenza privata e nella documentazione sugli output. Dietro ci sono dottori di ricerca che hanno fondato il campo dei modelli audiovisivi congiunti di esseri umani: 22 paper, oltre 10.000 citazioni, con il prof. Xu Zheng e il prof. Youngjung Uh come advisor, con il sostegno di Samsung, RedBird e Gold House. I paper sono nella nostra ricerca.

06. Un modello di fondazione per la traduzione è AI generativa?

Non nel senso tradizionale. IBM definisce così l'AI generativa:

È uno strumento potente per creare cose nuove. L'MLDM non ha prompt e non inventa niente di nuovo: porta ciò che c'è già in un'altra lingua. Non “AI generativa”, ma traduzione al servizio dei creativi. Da persona a persona, per arrivare più lontano.

Gli altri paper di questa serie: Traduzione audiovisiva in un solo passaggio, non a cascata, Cosa significa un modello di fondazione per la traduzione multimodale per studi e piattaforme e Pionieri della traduzione multimodale: dalla ricerca audiovisiva congiunta al primo modello di fondazione.

DOMANDE