Τι είναι ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM);

FAMILIAR ΕΡΕΥΝΑ2026-10-27ΕΝΗΜΕΡΩΣΗ 2026-11-01ΟΛΑ ΤΑ ΑΡΘΡΑ

ΠΕΡΙΛΗΨΗ

Το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση, ένα νέο παράδειγμα, το πρώτο του είδους του. Το MLDM είναι ένα και μόνο μοντέλο που αποφασίζει τι θα τοπικοποιηθεί και πώς, σε κείμενο, ήχο και εικόνα, και σας δείχνει τις επιλογές που μετράνε. Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή μαζί. Οι αποφάσεις συμφωνούν μεταξύ τους επειδή τις παίρνει ένα μοντέλο. Ο άνθρωπος δεν αλλάζει ποτέ.

ΤΟ ΠΡΩΤΟ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ ΓΙΑ ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗΟΠΤΙΚΟΑΚΟΥΣΤΙΚΗ ΜΕΤΑΦΡΑΣΗ ΜΕ ΤΗ ΜΙΑ, ΟΧΙ ΣΕ ΑΛΥΣΙΔΑ

Τι αποφασίζει το MLDM;

ΚΕΙΜΕΝΟ

Ποια απόδοση μεταφέρει μια ατάκα στη νέα γλώσσα. Το MLDM ζυγίζει πολλές αποδόσεις και διαλέγει την καλύτερη: σε ένα αστείο, μια ιστορία ή μια ατάκα σε μια κουβέντα, μία λέξη αλλάζει την πρόθεση και το συναίσθημα. Οι ίδιες αποφάσεις καλύπτουν τους όρους, τι δεν μεταφράζεται, την αργκό όπως ειπώθηκε, το όνομα και τη μάρκα ως έχουν, μια αναφορά που αλλάζει με μία που ξέρει το κοινό, ό,τι αποφεύγει μια κουλτούρα, και τις βρισιές που χαμηλώνουν για μια εκδοχή για νεότερο κοινό.

ΗΧΟΣ

Τι πρέπει να μεταφραστεί καθόλου. Το MLDM ακούει τα πάντα στο κανάλι: τα γέλια, το πλήθος, ένα ξεφωνητό, κάποιον στο βάθος που κανείς δεν ξεχωρίζει τι λέει. Βρίσκει την κύρια φωνή, τη μεταφέρει στη νέα γλώσσα με τη φωνή του ίδιου του ομιλητή και αφήνει τα υπόλοιπα όπως ήταν.

ΕΙΚΟΝΑ

Ποιος πραγματικά το λέει. Ήχος και εικόνα αποφασίζονται μαζί, οπότε το MLDM ξέρει ποιος αφηγείται, ποιος μιλά εκτός κάδρου και ποιανού τα χείλη πρέπει να κινηθούν. Τα χείλη ακολουθούν τα νέα λόγια σε κάθε ατάκα· οι εκφράσεις και οι χειρονομίες ακολουθούν όταν το ζητά η έμφαση ή η κουλτούρα.

ΟΙ ΕΠΙΛΟΓΕΣ ΠΟΥ ΒΛΕΠΕΤΕ

ΚΕΙΜΕΝΟ

ΣΗΜΕΡΑΌπου μια ατάκα μπορεί να βγει με περισσότερους από έναν τρόπους, οι creative directors σας παίρνουν τις αποδόσεις μαζί με το σκεπτικό της καθεμίας και διαλέγουν μία. Ένα podcast, ένα επεισόδιο ή μια ταινία μπορεί να έχει πολλά τέτοια σημεία.

ΣΤΑ ΣΚΑΡΙΑ

ΗΧΟΣ

ΣΗΜΕΡΑ

ΣΤΑ ΣΚΑΡΙΑΗ επιλογή του τι μένει στην πρωτότυπη γλώσσα. Ένα σύνθημα, μια κραυγή ή μια φράση μπορούν να μείνουν όπως ειπώθηκαν, όταν το θέλετε.

ΕΙΚΟΝΑ

ΣΗΜΕΡΑ

ΣΤΑ ΣΚΑΡΙΑΗ επιλογή άλλου προσώπου όταν το μοντέλο διάλεξε λάθος ομιλητή, και η επιλογή του ποιο κείμενο μέσα στο κάδρο θα μεταφραστεί. Αυτό το κείμενο, μια οθόνη κινητού, ένα εξώφυλλο βιβλίου, μια πινακίδα δρόμου, η ταμπέλα ενός μαγαζιού, θα γράφεται με τους όρους που έχετε ήδη διαλέξει· το μοντέλο αποφασίζει επί τόπου τι μένει όπως γυρίστηκε, μια μάρκα, ένα όνομα, η αργκό: ένα σακουλάκι Tostitos μένει Tostitos.

Γιατί ένα μοντέλο;

ΜΙΑ ΑΛΥΣΙΔΑ ΕΡΓΑΛΕΙΩΝ

Μεταγραφή ομιλίας σε κείμενο, μετά μετάφραση, μετά φωνή, μετά lip sync, με κάθε στάδιο ρυθμισμένο χωριστά.
Αυτή η αλυσίδα έκανε δυνατή τη μηχανική μεταγλώττιση.
Κάθε στάδιο όμως μαντεύει χωρίς τα άλλα, κι έτσι τα λάθη συσσωρεύονται από στάδιο σε στάδιο.

ΕΝΑ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ, ΤΟ ΠΡΩΤΟ ΤΟΥ ΕΙΔΟΥΣ ΤΟΥ

Το MLDM παίρνει τις αποφάσεις μαζί.
Η μετάφραση ξέρει σε ποιο στόμα πρέπει να ταιριάξει.
Η φωνή ξέρει σε ποια σκηνή βρίσκεται.
Ο άνθρωπος δεν αλλάζει ποτέ.

Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή βγαίνουν μαζί, από τις ίδιες αποφάσεις.

Οπτικοακουστική μετάφραση με τη μία, όχι σε αλυσίδα: η πρώτη του είδους της. Αυτό κάνει το MLDM το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο που μεταφέρει τα λόγια, τη φωνή, τα χείλη και τη σκηνή σε νέα γλώσσα, όλα μαζί. Ο δρόμος της υψηλής ποιότητας σήμερα είναι υποβοηθητικός: μια ομάδα καλλιτεχνών VFX και εβδομάδες για κάθε έργο, και κάθε γλώσσα είναι ένα καινούργιο έργο. Τα εργαλεία που κάνουν σήμερα τη δουλειά με τη μία είναι γρήγορα και θυσιάζουν τα υπόλοιπα. Το Familiar κάνει τη δουλειά με τη μία και με την ποιότητα.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Ποια είναι η διαφορά ανάμεσα στην τοπικοποίηση και στη μετάφραση;

Η μετάφραση είναι τα λόγια. Η τοπικοποίηση είναι αυτό που χρειάζεται μια κουλτούρα από αυτά.

Οι σωστοί όροι, η αργκό, τα ονόματα όπως ειπώθηκαν, μια αναφορά που αλλάζει με μία που ξέρει το κοινό, ό,τι αποφεύγει αυτή η κουλτούρα, ο βαθμός βωμολοχίας που ταιριάζει. Όλα αυτά τα αποφασίζει το MLDM, και με τον καιρό και την εικόνα, όταν χρειάζεται να αλλάξει.

Είναι το MLDM παραγωγική τεχνητή νοημοσύνη;

Όχι. Η IBM την ορίζει έτσι:

Η παραγωγική τεχνητή νοημοσύνη, που μερικές φορές λέγεται gen AI, είναι τεχνητή νοημοσύνη (AI) που μπορεί να δημιουργεί πρωτότυπο περιεχόμενο, όπως κείμενο, εικόνες, βίντεο, ήχο ή κώδικα λογισμικού, ως απάντηση στο prompt ή στο αίτημα ενός χρήστη.

IBM, What is generative AI?

Είναι ένα δυνατό εργαλείο για να φτιάχνεις καινούργια πράγματα. Το MLDM δεν έχει prompt και δεν επινοεί τίποτα καινούργιο: αποφασίζει πώς θα τοπικοποιηθεί ό,τι υπάρχει ήδη. Η πλήρης θέση μας βρίσκεται στα Γιατί το Familiar δεν είναι παραγωγική AI με την παραδοσιακή έννοια και Η μετάφραση δεν είναι παραγωγή.

Ποιανού είναι οι αποφάσεις;

Δικές σας. Κάθε απόφαση που παίρνει το MLDM καταγράφεται μαζί με τη μεταγλώττιση, στο αρχείο αποφάσεων.

ΣΗΜΕΡΑ
Οι creative directors σας ελέγχουν τις αποφάσεις της μετάφρασης.
Οι αποδόσεις μαζί με το σκεπτικό της καθεμίας· διαλέγουν μία πριν βγει οτιδήποτε προς τα έξω.
ΣΗΜΕΡΑ
Μια λίστα «Χωρίς μετάφραση» και ένα πλαίσιο μίας πρότασης ταξιδεύουν μαζί με την εργασία.
ΣΤΑ ΣΚΑΡΙΑ
Οι αποφάσεις για τον ήχο και την εικόνα, στον ίδιο έλεγχο.
ΣΤΑ ΣΚΑΡΙΑ
Μνήμη αποφάσεων.
Μια αλλαγή που απομνημονεύεται για έναν δημιουργό εφαρμόζεται πρώτη στην επόμενη μεταγλώττιση, οπότε μια επιλογή που κάνετε μία φορά περνά και στο επόμενο επεισόδιο.

Όλη η ιστορία βρίσκεται στο Το αρχείο αποφάσεων: πώς οι creative directors κατευθύνουν το MLDM· το προγραμματισμένο API στην τεκμηρίωση των αποφάσεων.

ΕΡΩΤΗΣΕΙΣ

Τι σημαίνει MLDM;

Το MLDM σημαίνει Multimodal Localization Decision Model, πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης: ένα νέο παράδειγμα, το πρώτο του είδους του, ένα μοντέλο που αποφασίζει τι θα τοπικοποιηθεί και πώς, σε κείμενο, ήχο και εικόνα. Διαλέγει την απόδοση μιας ατάκας, τι θα μεταφραστεί στον ήχο, ποιος μιλάει στην οθόνη και πώς ακολουθούν τα χείλη, οι εκφράσεις και οι χειρονομίες.

Είναι το MLDM μοντέλο βίντεο;

Όχι με τη συνηθισμένη έννοια. Το MLDM δουλεύει πάνω σε υλικό που υπάρχει ήδη και αποφασίζει πώς θα τοπικοποιηθεί: τα λόγια, η φωνή, τα χείλη και οι εκφράσεις. Ο άνθρωπος στην οθόνη μένει ακριβώς όπως είναι, σε κάθε γλώσσα.

Φτιάχνει το MLDM καινούργιο υλικό;

Όχι. Δεν υπάρχει prompt και τίποτα καινούργιο δεν επινοείται. Το MLDM αποφασίζει πώς θα τοπικοποιηθεί ό,τι υπάρχει ήδη: ο ηθοποιός, ο χρονισμός και η σκηνή μένουν, ενώ τα λόγια, το κανάλι της φωνής και τα χείλη αλλάζουν για να ταιριάξουν στη νέα γλώσσα.

Τι αποφασίζει το MLDM στον ήχο;

Τι πρέπει να μεταφραστεί καθόλου. Βρίσκει την κύρια φωνή και τη μεταφέρει στη νέα γλώσσα με τη φωνή του ίδιου του ομιλητή. Τα γέλια, το πλήθος, ένα ξεφωνητό και κάποιος στο βάθος που κανείς δεν ξεχωρίζει τι λέει μένουν όπως ήταν.

Αλλάζει το MLDM τις εκφράσεις;

Όταν το ζητά η έμφαση ή η κουλτούρα. Τα χείλη ακολουθούν τα νέα λόγια σε κάθε ατάκα· οι εκφράσεις και οι χειρονομίες ακολουθούν όταν μια ατάκα πέφτει αλλιώς στη νέα γλώσσα. Ο άνθρωπος μένει ακριβώς όπως είναι.

Μεταφράζει το MLDM το κείμενο στην οθόνη;

Όχι ακόμα. Το κείμενο μέσα στο κάδρο, όπως μια οθόνη κινητού, ένα εξώφυλλο βιβλίου, μια πινακίδα δρόμου ή η ταμπέλα ενός μαγαζιού, ενσωματώνεται τώρα, γραμμένο με τους όρους που έχετε ήδη διαλέξει· το μοντέλο αποφασίζει επί τόπου τι μένει όπως γυρίστηκε, μια μάρκα, ένα όνομα, η αργκό: ένα σακουλάκι Tostitos μένει Tostitos. Σήμερα τοπικοποιούνται τα λόγια, η φωνή, τα χείλη, οι εκφράσεις και οι χειρονομίες.

Μπορώ να αλλάξω μια απόφαση που πήρε το μοντέλο;

Ναι. Κάθε απόφαση καταγράφεται μαζί με την εργασία και μπορείτε να την αλλάξετε. Σήμερα οι creative directors σας διαλέγουν ανάμεσα στις αποδόσεις της μετάφρασης, την καθεμία με το σκεπτικό της, και μια επιλογή που κάνετε μία φορά περνά και στο επόμενο επεισόδιο.

Δείχνει το μοντέλο τις επιλογές του στον ήχο και στο βίντεο;

Οι επιλογές της μετάφρασης φαίνονται σήμερα. Οι επιλογές στον ήχο, όπως τι μένει στην πρωτότυπη γλώσσα, και στην εικόνα, όπως η επιλογή άλλου προσώπου ή του ποιο κείμενο μέσα στο κάδρο θα μεταφραστεί, είναι στα σκαριά.

ΠΑΡΑΠΟΜΠΕΣ

ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Η Familiar Labs φτιάχνει μεταγλώττιση νέας γενιάς με ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM), το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο αποφασίζει τι θα τοπικοποιηθεί σε κείμενο, ήχο και εικόνα και σου δείχνει τις επιλογές. Η φωνή και τα χείλη σου, μεταφερμένα σε νέες γλώσσες. Μια ομάδα 8 ατόμων με διδάκτορες, με την υποστήριξη των Samsung, RedBird και Gold House. Η αποστολή μας

Δες το πλήρες benchmark →Μίλα με την ομάδα