Pionieri della traduzione multimodale: dalla ricerca audiovisiva congiunta al primo modello di fondazione

01. Chi ha fondato i modelli audiovisivi congiunti di esseri umani?

Un doppiaggio regge solo se la voce e il volto restano una sola persona. I ricercatori di Familiar sono dottori di ricerca che hanno fondato il campo dei modelli audiovisivi congiunti di esseri umani: il loro paper JAM-Flow, a ECCV 2026, è il primo modello audiovisivo congiunto di esseri umani, in cui la voce e il volto di una persona che parla vengono trattati come un unico problema.

Il lavoro copre i tasselli di cui ha bisogno la traduzione multimodale: modelli audiovisivi congiunti di esseri umani, modelli video veloci, editing e percezione multimodale. Ogni paper e ogni conferenza sono nella nostra panoramica della ricerca. Il motivo è personale: An Zhu Liu, il CEO, da bambino non riusciva a parlare inglese con i compagni di classe e lo ha imparato dalla televisione, una storia raccontata nella pagina della nostra missione.

02. Perché il doppiaggio passava per strumenti separati?

Perché ogni tassello è stato risolto prima per conto suo. Il doppiaggio automatico è arrivato come una catena, ed è quella catena ad averlo reso possibile. Ne ha anche fissato il limite, e gli strumenti nati da allora scambiano ancora la qualità con il tempo. Gli strumenti di supporto raggiungono la qualità con un team di artisti VFX e settimane per progetto, un progetto nuovo per ogni lingua. Gli strumenti che fanno tutto in un colpo solo sono veloci e rinunciano al resto: il loro labiale cede con una mano davanti al volto, un microfono, una sfocatura, il bokeh, un'inquadratura di profilo o più persone in scena, senza ragionamento spaziale e senza comprensione del mondo. Familiar è il colpo solo e la qualità.

++

Familiar è il primo modello di fondazione per la traduzione multimodale: un solo modello che porta le parole, la voce, le labbra e la scena in una nuova lingua, tutto in una volta.

Il confronto passo per passo è in Traduzione audiovisiva in un solo passaggio, non a cascata; la definizione è in Il primo modello di fondazione per la traduzione multimodale.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Cosa vuol dire essere pionieri, qui?

Tre cose, insieme per la prima volta. La prima: l'audio e il video portati nella nuova lingua tutto in una volta, da un solo modello, così le decisioni sono coerenti: la voce è quella dell'attore stesso, le labbra seguono le nuove parole, e le risate, la folla e la musica restano dov'erano.

La seconda è l'ordine. Prima la traduzione, poi il doppiaggio in un colpo solo: la voce, le labbra e la scena insieme. Le parole vengono fissate, e revisionate dai tuoi direttori creativi, prima che qualsiasi cosa venga doppiata.

La terza è lo storico. Ogni decisione che prende l'MLDM viene registrata insieme al lavoro, e puoi modificarne qualsiasi parte. Il racconto completo è in Lo storico delle decisioni: come i direttori creativi guidano l'MLDM; cos'è MLDM, nel paper che lo definisce.

04. Cosa decide il modello, e cosa scegli tu?

Un risultato di ricerca diventa un prodotto quando chi lo usa resta al comando. MLDM per il lavoro più noioso. Le scelte creative restano tue.

05. Cosa è ancora in lavorazione?

Essere pionieri vuol dire la prima versione, non l'ultima. Le scelte sulla traduzione sono aperte già oggi; il resto dello storico si apre per gradi.

1. OGGI

   I tuoi direttori creativi revisionano le decisioni sulla traduzione.

   Le traduzioni possibili con le motivazioni di ciascuna; una lista Non Tradurre e una frase di contesto accompagnano il lavoro.
2. IN LAVORAZIONE

   Le decisioni su audio e video, nella stessa revisione.

3. IN LAVORAZIONE

   Il testo nell'inquadratura.

   Lo schermo di un telefono, la copertina di un libro, un cartello stradale, scritti con i termini che hai già scelto; un marchio o un nome restano così come sono stati girati, decisi al volo: un sacchetto di Tostitos resta Tostitos.
4. IN LAVORAZIONE

   Doppiaggio live.

06. Cosa cambia per le persone sullo schermo?

Il doppiaggio umano è fuori portata per la maggior parte del mondo. Anche le grandi produzioni doppiano solo poche lingue, per i costi, le persone e i tempi che richiede; le produzioni più piccole, le serie e i drama verticali per lo più non doppiano affatto. Un modello di fondazione per la traduzione multimodale dà a ognuna di loro la stessa interpretazione in un'altra lingua: la voce, le labbra e le espressioni dell'attore in 30 lingue, consegnate fino al 4K con mix surround 5.1 nativo o stereo in PCM a 24 bit (gli output).

La traduzione misura il 100.3% della qualità di una traduzione umana esperta: alla pari; gli studi sono su /benchmark. Non “AI generativa”, ma traduzione al servizio dei creativi. Da persona a persona, per arrivare più lontano. Cosa significa per un catalogo è nel paper per studi e piattaforme.

DOMANDE