SOMMARIO
Cosa decide MLDM?
LE SCELTE CHE VEDI
Perché un solo modello?
UNA CATENA DI STRUMENTI
- Riconoscimento vocale, poi traduzione, poi una voce, poi lip sync, ogni fase ottimizzata per conto suo.
- È questa catena ad aver reso possibile il doppiaggio automatico.
- Ma ogni fase tira a indovinare senza le altre, e gli errori si sommano da una fase all'altra.
UN SOLO MODELLO DI FONDAZIONE, IL PRIMO NEL SUO GENERE
- L'MLDM prende le decisioni tutte insieme.
- La traduzione conosce la bocca in cui deve entrare.
- La voce conosce la scena in cui si trova.
- La persona non cambia mai.
Traduzione audiovisiva in un solo passaggio, non a cascata: la prima nel suo genere. È questo a fare dell'MLDM il primo modello di fondazione per la traduzione multimodale: un solo modello che porta le parole, la voce, le labbra e la scena in una nuova lingua, tutto in una volta. Oggi la strada dell'alta qualità passa dagli strumenti di supporto: un team di artisti VFX e settimane per progetto, e ogni lingua è un progetto nuovo. Gli strumenti che oggi fanno tutto in un colpo solo sono veloci e rinunciano al resto. Familiar è il colpo solo e la qualità.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
Che differenza c'è tra localizzazione e traduzione?
La traduzione sono le parole. La localizzazione è ciò che una cultura ne richiede.
MLDM è AI generativa?
No. IBM la definisce così:
L'AI generativa, a volte chiamata gen AI, è un'intelligenza artificiale (AI) in grado di creare contenuti originali come testo, immagini, video, audio o codice software in risposta al prompt o alla richiesta di un utente.
È uno strumento potente per creare cose nuove. L'MLDM non ha prompt e non inventa niente di nuovo: decide come localizzare ciò che c'è già. La posizione completa è in Perché Familiar non è AI generativa tradizionale e in La traduzione non è generazione.
Di chi sono le decisioni?
Tue. Ogni decisione che prende l'MLDM viene registrata insieme al doppiaggio, nello storico delle decisioni.
- OGGI
I tuoi direttori creativi revisionano le decisioni sulla traduzione.
Le traduzioni possibili con le motivazioni di ciascuna; ne scelgono una prima che esca qualsiasi cosa. - OGGI
Una lista Non Tradurre e una frase di contesto accompagnano il lavoro.
- IN LAVORAZIONE
Le decisioni su audio e video, nella stessa revisione.
- IN LAVORAZIONE
La memoria delle decisioni.
Una modifica memorizzata per un creator si applica per prima al doppiaggio successivo, così una scelta fatta una volta vale anche per l'episodio successivo.
La storia completa è in Lo storico delle decisioni: come i direttori creativi guidano l'MLDM; l'API prevista è nella documentazione sulle decisioni.
DOMANDE
Cosa significa MLDM?
MLDM sta per Multimodal Localization Decision Model, modello decisionale multimodale per la localizzazione: un nuovo paradigma, il primo nel suo genere, cioè un solo modello che decide cosa localizzare e come, tra testo, audio e video. Sceglie la resa di una battuta, cosa tradurre nell'audio, chi sta parlando sullo schermo e come lo seguono le labbra, le espressioni e i gesti.
MLDM è un modello video?
Non nel senso comune. L'MLDM lavora su riprese che esistono già e decide come localizzarle: le parole, la voce, le labbra e le espressioni. La persona sullo schermo resta esattamente chi è, in ogni lingua.
MLDM genera nuove riprese?
No. Non c'è un prompt e non si inventa niente di nuovo. L'MLDM decide come localizzare ciò che c'è già: l'attore, i tempi e la scena restano, mentre le parole, la traccia vocale e le labbra cambiano per adattarsi alla nuova lingua.
Cosa decide MLDM nell'audio?
Cosa va tradotto, prima di tutto. Individua la voce principale e la porta nella nuova lingua con la voce stessa di chi parla. Le risate, la folla, un grido e una voce sullo sfondo che nessuno riesce a distinguere restano come erano.
MLDM cambia le espressioni?
Quando l'enfasi o la cultura lo richiedono. Le labbra seguono le nuove parole in ogni battuta; le espressioni e i gesti le seguono quando una battuta arriva in modo diverso nella nuova lingua. La persona resta esattamente chi è.
MLDM traduce il testo sullo schermo?
Non ancora. Il testo nell'inquadratura, come lo schermo di un telefono, la copertina di un libro, un cartello stradale o un'insegna, è in fase di integrazione, scritto con i termini che hai già scelto; il modello decide al volo cosa resta così come è stato girato, un marchio, un nome, il gergo: un sacchetto di Tostitos resta Tostitos. Oggi vengono localizzati le parole, la voce, le labbra, le espressioni e i gesti.
Posso cambiare una decisione presa dal modello?
Sì. Ogni decisione viene registrata insieme al lavoro e puoi modificarla. Oggi i tuoi direttori creativi scelgono tra le traduzioni proposte, ognuna con la sua motivazione, e una scelta fatta una volta vale anche per l'episodio successivo.
Il modello mostra le sue scelte anche su audio e video?
Le scelte sulla traduzione si vedono già oggi. Le scelte sull'audio, come cosa resta in lingua originale, e quelle sul video, come scegliere un volto diverso o quale testo nell'inquadratura tradurre, sono in lavorazione.
RIFERIMENTI
Traduzione multimodale
Familiar Labs realizza un doppiaggio di nuova generazione con un modello decisionale multimodale per la localizzazione (MLDM), il primo modello di fondazione per la traduzione multimodale: un solo modello decide cosa localizzare tra testo, audio e video, e ti mostra le scelte. La tua voce e le tue labbra, portate in nuove lingue. Un team di 8 persone con dottorati di ricerca, sostenuto da Samsung, RedBird e Gold House. La nostra missione