Πρωτοπορία στην πολυτροπική μετάφραση: από την κοινή οπτικοακουστική έρευνα στο πρώτο θεμελιώδες μοντέλο

01. Ποιοι ξεκίνησαν τα κοινά οπτικοακουστικά μοντέλα για ανθρώπους;

Μια μεταγλώττιση στέκει μόνο αν η φωνή και το πρόσωπο μένουν ένας άνθρωπος. Οι ερευνητές του Familiar είναι διδάκτορες που ξεκίνησαν το πεδίο των κοινών οπτικοακουστικών μοντέλων για ανθρώπους: η δημοσίευσή τους JAM-Flow, στο ECCV 2026, είναι το πρώτο κοινό οπτικοακουστικό μοντέλο για ανθρώπους, όπου η φωνή και το πρόσωπο ενός ανθρώπου που μιλά αντιμετωπίζονται ως ένα πρόβλημα.

Το έργο καλύπτει τα κομμάτια που χρειάζεται η πολυτροπική μετάφραση: κοινά οπτικοακουστικά μοντέλα για ανθρώπους, γρήγορα μοντέλα βίντεο, επεξεργασία και πολυτροπική αντίληψη. Κάθε δημοσίευση και συνέδριο βρίσκεται στην επισκόπηση της έρευνάς μας. Ο λόγος είναι προσωπικός: ο An Zhu Liu, ο CEO, δεν μπορούσε να μιλήσει αγγλικά στους συμμαθητές του όταν ήταν παιδί και τα έμαθε από την τηλεόραση, μια ιστορία που λέμε στη σελίδα της αποστολής μας.

02. Γιατί η μεταγλώττιση περνούσε από χωριστά εργαλεία;

Επειδή κάθε κομμάτι λύθηκε πρώτα μόνο του. Η μηχανική μεταγλώττιση ήρθε ως αλυσίδα, και αυτή η αλυσίδα είναι που την έκανε καν δυνατή. Της έβαλε όμως και το όριό της, και τα εργαλεία που φτιάχτηκαν από τότε ανταλλάσσουν ακόμα ποιότητα με χρόνο. Τα υποβοηθητικά εργαλεία φτάνουν την ποιότητα με μια ομάδα καλλιτεχνών VFX και εβδομάδες για κάθε έργο, ένα καινούργιο έργο για κάθε γλώσσα. Τα εργαλεία που κάνουν τη δουλειά με τη μία είναι γρήγορα και θυσιάζουν τα υπόλοιπα: τα χείλη τους αποτυγχάνουν σε ένα χέρι μπροστά στο πρόσωπο, ένα μικρόφωνο, θόλωμα, bokeh, μια πλάγια λήψη ή πολλά άτομα στο κάδρο, χωρίς καμία αντίληψη του χώρου και καμία κατανόηση του κόσμου. Το Familiar κάνει τη δουλειά με τη μία και με την ποιότητα.

++

Το Familiar είναι το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο που μεταφέρει τα λόγια, τη φωνή, τα χείλη και τη σκηνή σε νέα γλώσσα, όλα μαζί.

Η αντιπαράθεση βήμα προς βήμα βρίσκεται στο Οπτικοακουστική μετάφραση με τη μία, όχι σε αλυσίδα· ο ορισμός στο Το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Τι σημαίνει εδώ πρωτοπορία;

Τρία πράγματα, μαζί για πρώτη φορά. Το πρώτο είναι ότι ο ήχος και η εικόνα περνούν στη νέα γλώσσα μαζί, από ένα μοντέλο, οπότε οι αποφάσεις συμφωνούν: η φωνή είναι του ίδιου του ηθοποιού, τα χείλη ακολουθούν τα νέα λόγια, και τα γέλια, το πλήθος και η μουσική μένουν εκεί που ήταν.

Το δεύτερο είναι η σειρά. Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή μαζί. Τα λόγια κλειδώνουν, και τα ελέγχουν οι creative directors σας, πριν ακουστεί οποιαδήποτε φωνή.

Το τρίτο είναι η καταγραφή. Κάθε απόφαση που παίρνει το MLDM καταγράφεται μαζί με την εργασία και μπορείτε να αλλάξετε οποιαδήποτε από αυτές. Η πλήρης περιγραφή βρίσκεται στο Το αρχείο αποφάσεων: πώς οι creative directors κατευθύνουν το MLDM· τι είναι το MLDM, στο κείμενο του ορισμού.

04. Τι αποφασίζει το μοντέλο και τι διαλέγετε εσείς;

Ένα ερευνητικό αποτέλεσμα γίνεται προϊόν όταν οι άνθρωποι που το χρησιμοποιούν κρατούν τον έλεγχο. MLDM για την κουραστική δουλειά. Οι δημιουργικές αποφάσεις μένουν δικές σας.

05. Τι είναι ακόμα στα σκαριά;

Πρωτοπορία σημαίνει η πρώτη έκδοση, όχι η τελευταία. Οι επιλογές της μετάφρασης είναι ανοιχτές σήμερα· το υπόλοιπο αρχείο ανοίγει σταδιακά.

1. ΣΗΜΕΡΑ

   Οι creative directors σας ελέγχουν τις αποφάσεις της μετάφρασης.

   Οι αποδόσεις μαζί με το σκεπτικό της καθεμίας· μια λίστα «Χωρίς μετάφραση» και ένα πλαίσιο μίας πρότασης ταξιδεύουν μαζί με την εργασία.
2. ΣΤΑ ΣΚΑΡΙΑ

   Οι αποφάσεις για τον ήχο και την εικόνα, στον ίδιο έλεγχο.

3. ΣΤΑ ΣΚΑΡΙΑ

   Το κείμενο μέσα στο κάδρο.

   Μια οθόνη κινητού, ένα εξώφυλλο βιβλίου, μια πινακίδα δρόμου, γραμμένα με τους όρους που έχετε ήδη διαλέξει· μια μάρκα ή ένα όνομα μένει όπως γυρίστηκε, με απόφαση επί τόπου: ένα σακουλάκι Tostitos μένει Tostitos.
4. ΣΤΑ ΣΚΑΡΙΑ

   Live μεταγλώττιση.

06. Τι αλλάζει για τους ανθρώπους στην οθόνη;

Η ανθρώπινη μεταγλώττιση είναι απρόσιτη για το μεγαλύτερο μέρος του κόσμου. Ακόμα και οι μεγαλύτερες παραγωγές μεταγλωττίζονται σε λίγες μόνο γλώσσες, λόγω του κόστους, των ανθρώπων και του χρόνου που χρειάζεται· οι μικρότερες παραγωγές, οι σειρές και τα κάθετα δράματα συνήθως δεν μεταγλωττίζονται καθόλου. Ένα θεμελιώδες μοντέλο για πολυτροπική μετάφραση δίνει σε όλους αυτούς την ίδια ερμηνεία σε άλλη γλώσσα: τη φωνή, τα χείλη και τις εκφράσεις του ηθοποιού σε 30 γλώσσες, παραδοτέα έως 4K με πραγματική μίξη surround 5.1 ή στερεοφωνική σε PCM 24-bit (τα παραδοτέα).

Η μετάφραση μετριέται στο 100.3% της ποιότητας του έμπειρου ανθρώπινου μεταφραστή: ισοπαλία· οι μελέτες βρίσκονται στο /benchmark. Όχι «παραγωγική τεχνητή νοημοσύνη», αλλά μετάφραση στην υπηρεσία των δημιουργών. Από άνθρωπο σε άνθρωπο, σε όλο και περισσότερο κόσμο. Τι σημαίνει αυτό για έναν κατάλογο βρίσκεται στο κείμενο για τα στούντιο και τις πλατφόρμες.

ΕΡΩΤΗΣΕΙΣ