Cosa significa un modello di fondazione per la traduzione multimodale per studi e piattaforme

01. Cosa cambia un modello di fondazione nel doppiaggio?

Il doppiaggio automatico era una cascata di strumenti separati: trascrizione, poi traduzione, poi una voce, poi lip sync. Ogni fase tirava a indovinare senza le altre, e gli errori passavano da una fase all'altra. Chi compra oggi deve scegliere tra qualità e tempo. Gli strumenti di supporto raggiungono la qualità con un team di artisti VFX: settimane per progetto, e ogni lingua è un progetto nuovo. Gli strumenti che fanno tutto in un colpo solo sono veloci e rinunciano al resto: la traduzione non si può modificare, la voce si allontana da quella di chi parla, la musica e l'ambiente spariscono, e il labiale cede con una mano davanti al volto, un microfono, una sfocatura, il bokeh, un'inquadratura di profilo o più persone in scena. Niente ragionamento spaziale, nessuna comprensione del mondo, nessun controllo. Familiar sostituisce la catena con un solo modello decisionale multimodale per la localizzazione (MLDM): il colpo solo e la qualità.

++

Prima la traduzione, poi il doppiaggio in un colpo solo: la voce, le labbra e la scena insieme.

Traduzione audiovisiva in un solo passaggio, non a cascata: la prima nel suo genere. La definizione è in Il primo modello di fondazione per la traduzione multimodale; il confronto con la cascata, passo per passo, è in Traduzione audiovisiva in un solo passaggio, non a cascata.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Un solo caricamento può coprire tutti i mercati in cui vendiamo?

Sì. Le riprese in una qualsiasi di 99 lingue di partenza entrano una volta, e i doppiaggi escono in una qualsiasi delle 30 lingue di arrivo che ordinate: tutte le lingue da un solo caricamento, ognuna con la stessa interpretazione. Una stagione, una library o un flusso di episodi verticali seguono lo stesso percorso, e i termini impostati una volta valgono anche per l'episodio successivo.

Il doppiaggio umano completo, traduzione più voce, costa da $70 a $150 per minuto finito. A questi prezzi è fuori portata per la maggior parte del mondo. Anche le grandi produzioni doppiano solo poche lingue, per i costi, le persone e i tempi che richiede.

È questo il vuoto che Familiar colma. Non “AI generativa”, ma traduzione al servizio dei creativi. MLDM per il lavoro più noioso. Da persona a persona, per arrivare più lontano.

03. Chi decide come arriva una battuta in un'altra lingua?

L'MLDM decide cosa localizzare e come, tra testo, audio e video. Il vostro team resta al comando delle scelte che contano. Prima arriva la traduzione, e dove una battuta si può rendere in più modi i vostri direttori creativi vedono le opzioni con le motivazioni di ciascuna prima che si doppi qualsiasi cosa.

Ogni decisione viene registrata insieme al lavoro e potete modificarne qualsiasi parte. La storia completa è in Lo storico delle decisioni: come i direttori creativi guidano l'MLDM. Sulle sole parole, la traduzione è alla pari con i traduttori umani esperti: il 100.3% della loro qualità, misurato nel benchmark.

04. Cosa torna con un doppiaggio finito?

Una consegna che il vostro team di post-produzione può inserire direttamente nell'uscita, secondo le specifiche richieste da uno streamer. L'audio della scena resta com'era: la musica, l'atmosfera e le risate vengono mantenute, e cambia lingua solo il parlato.

I sottotitoli nascono dalla traduzione revisionata, tagliati secondo le convenzioni del Timed Text Style Guide di Netflix, lo standard dei modelli di sottotitoli su cui lavora il settore. Ogni file e formato è elencato nella documentazione sugli output.

05. Dove vengono elaborati i nostri video?

Le riprese inedite sono il bene che uno studio protegge di più. Ogni doppiaggio viene elaborato sul cluster a otto cifre di GPU NVIDIA B300 di proprietà di Familiar, a Toronto, in Canada, su una potenza di calcolo che Familiar possiede.

Il percorso di un doppiaggio e le risposte per la vostra verifica di sicurezza sono nella documentazione sull'inferenza privata.

06. Cosa è disponibile oggi, e cosa è in lavorazione?

1. OGGI

   Tutte le lingue da un solo caricamento, con la voce e le labbra dell'attore stesso.

   30 lingue di arrivo, 99 lingue di partenza; fino al 4K, mix 5.1 nativo o stereo, sottotitoli.
2. OGGI

   I vostri direttori creativi revisionano le decisioni sulla traduzione.

   Le opzioni con le motivazioni di ciascuna, registrate insieme al lavoro.
3. IN LAVORAZIONE

   Le decisioni su audio e video, nella stessa revisione.

   Cosa resta in lingua originale, un volto diverso, quale testo nell'inquadratura tradurre.
4. IN LAVORAZIONE

   Doppiaggio live.

L'accesso avviene con un contratto Studio, dimensionato sul vostro catalogo: parlate con il team dei vostri titoli, delle vostre lingue e delle vostre specifiche di consegna. Il team è fatto di dottori di ricerca che hanno fondato il campo dei modelli audiovisivi congiunti di esseri umani: 22 paper, oltre 10.000 citazioni, con il prof. Xu Zheng e il prof. Youngjung Uh come advisor, con il sostegno di Samsung, RedBird e Gold House. La ricerca è nei nostri paper e in Pionieri della traduzione multimodale; la storia del fondatore è nella pagina della nostra missione.

DOMANDE