Τι είναι ένα θεμελιώδες μοντέλο πολυτροπικής τοπικοποίησης (MLFM);

FAMILIAR LABS ΕΡΕΥΝΑ2026-10-27ΕΝΗΜΕΡΩΣΗ 2026-11-01ΟΛΑ ΤΑ ΑΡΘΡΑ

ΔΙΑΒΑΣΤΕ ΤΟ ΣΕEnglish Español Português 中文日本語 한국어 Français Deutsch العربية Bahasa Indonesia Русский Italiano Tiếng Việt ไทย NederlandsΕλληνικάУкраїнська Hrvatski Lietuvių Slovenčina Svenska Български Dansk Latviešu

ΠΕΡΙΛΗΨΗ

Το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση, ένα νέο παράδειγμα, το πρώτο του είδους του. Το MLFM είναι ένα και μόνο μοντέλο που αποφασίζει τι θα τοπικοποιηθεί και πώς, σε κείμενο, ήχο και εικόνα, και σας δείχνει τις επιλογές που μετράνε. Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή μαζί. Οι αποφάσεις συμφωνούν μεταξύ τους επειδή τις παίρνει ένα μοντέλο. Ο άνθρωπος δεν αλλάζει ποτέ.

ΤΟ ΠΡΩΤΟ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ ΓΙΑ ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗΟΠΤΙΚΟΑΚΟΥΣΤΙΚΗ ΜΕΤΑΦΡΑΣΗ ΜΕ ΤΗ ΜΙΑ, ΟΧΙ ΣΕ ΑΛΥΣΙΔΑ

Τι αποφασίζει το MLFM;

ΚΕΙΜΕΝΟ

Ποια απόδοση μεταφέρει μια ατάκα στη νέα γλώσσα. Το MLFM ζυγίζει πολλές αποδόσεις και διαλέγει την καλύτερη: σε ένα αστείο, μια ιστορία ή μια ατάκα σε μια κουβέντα, μία λέξη αλλάζει την πρόθεση και το συναίσθημα. Οι ίδιες αποφάσεις καλύπτουν τους όρους, τι δεν μεταφράζεται, την αργκό όπως ειπώθηκε, το όνομα και τη μάρκα ως έχουν, μια αναφορά που αλλάζει με μία που ξέρει το κοινό, ό,τι αποφεύγει μια κουλτούρα, και τις βρισιές που χαμηλώνουν για μια εκδοχή για νεότερο κοινό.

ΗΧΟΣ

Τι πρέπει να μεταφραστεί καθόλου. Το MLFM ακούει τα πάντα στο κανάλι: τα γέλια, το πλήθος, ένα ξεφωνητό, κάποιον στο βάθος που κανείς δεν ξεχωρίζει τι λέει. Βρίσκει την κύρια φωνή, τη μεταφέρει στη νέα γλώσσα με τη φωνή του ίδιου του ομιλητή και αφήνει τα υπόλοιπα όπως ήταν.

ΕΙΚΟΝΑ

Ποιος πραγματικά το λέει. Ήχος και εικόνα αποφασίζονται μαζί, οπότε το MLFM ξέρει ποιος αφηγείται, ποιος μιλά εκτός κάδρου και ποιανού τα χείλη πρέπει να κινηθούν. Τα χείλη ακολουθούν τα νέα λόγια σε κάθε ατάκα, μαζί με τις επικαλύψεις και τη χωρική συλλογιστική· οι εκφράσεις και οι χειρονομίες ακολουθούν όταν το ζητά η έμφαση ή η κουλτούρα.

ΟΙ ΕΠΙΛΟΓΕΣ ΠΟΥ ΒΛΕΠΕΤΕ

ΚΕΙΜΕΝΟ

ΣΗΜΕΡΑΌπου μια ατάκα μπορεί να βγει με περισσότερους από έναν τρόπους, οι creative directors σας παίρνουν τις αποδόσεις μαζί με το σκεπτικό της καθεμίας και διαλέγουν μία. Ένα podcast, ένα επεισόδιο ή μια ταινία μπορεί να έχει πολλά τέτοια σημεία.

ΣΤΑ ΣΚΑΡΙΑ

ΗΧΟΣ

ΣΗΜΕΡΑ

ΣΤΑ ΣΚΑΡΙΑΗ επιλογή του τι μένει στην πρωτότυπη γλώσσα. Ένα σύνθημα, μια κραυγή ή μια φράση μπορούν να μείνουν όπως ειπώθηκαν, όταν το θέλετε.

ΕΙΚΟΝΑ

ΣΗΜΕΡΑ

ΣΤΑ ΣΚΑΡΙΑΗ επιλογή άλλου προσώπου όταν το μοντέλο διάλεξε λάθος ομιλητή, και η επιλογή του ποιο κείμενο μέσα στο κάδρο θα μεταφραστεί. Αυτό το κείμενο, μια οθόνη κινητού, ένα εξώφυλλο βιβλίου, μια πινακίδα δρόμου, η ταμπέλα ενός μαγαζιού, θα γράφεται με τους όρους που έχετε ήδη διαλέξει· το μοντέλο αποφασίζει επί τόπου τι μένει όπως γυρίστηκε, μια μάρκα, ένα όνομα, η αργκό: ένα σακουλάκι Tostitos μένει Tostitos.

Γιατί ένα μοντέλο;

ΜΙΑ ΑΛΥΣΙΔΑ ΕΡΓΑΛΕΙΩΝ

Μεταγραφή ομιλίας σε κείμενο, μετά μετάφραση, μετά φωνή, μετά lip sync, με κάθε στάδιο ρυθμισμένο χωριστά.
Αυτή η αλυσίδα έκανε δυνατή τη μηχανική μεταγλώττιση.
Κάθε στάδιο όμως μαντεύει χωρίς τα άλλα, κι έτσι τα λάθη συσσωρεύονται από στάδιο σε στάδιο.

ΕΝΑ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ, ΤΟ ΠΡΩΤΟ ΤΟΥ ΕΙΔΟΥΣ ΤΟΥ

Το MLFM παίρνει τις αποφάσεις μαζί.
Η μετάφραση ξέρει σε ποιο στόμα πρέπει να ταιριάξει.
Η φωνή ξέρει σε ποια σκηνή βρίσκεται.
Ο άνθρωπος δεν αλλάζει ποτέ.

Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή βγαίνουν μαζί, από τις ίδιες αποφάσεις.

Οπτικοακουστική μετάφραση με τη μία, όχι σε αλυσίδα: η πρώτη του είδους της. Αυτό κάνει το MLFM το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο που μεταφέρει τα λόγια, τη φωνή, τα χείλη και τη σκηνή σε νέα γλώσσα, όλα μαζί. Ο δρόμος της υψηλής ποιότητας σήμερα είναι υποβοηθητικός: μια ομάδα καλλιτεχνών VFX και εβδομάδες για κάθε έργο, και κάθε γλώσσα είναι ένα καινούργιο έργο. Τα εργαλεία που κάνουν σήμερα τη δουλειά με τη μία είναι γρήγορα και θυσιάζουν τα υπόλοιπα. Το Familiar Labs κάνει τη δουλειά με τη μία και με την ποιότητα.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar Labs is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR LABS CLOSER TO THE REAL SPEAKER

FAMILIAR LABS · ONE SHOT AND THE QUALITYFamiliar Labs vs Flawless TrueSync The ElevenLabs study The demos

Ποια είναι η διαφορά ανάμεσα στην τοπικοποίηση και στη μετάφραση;

Η μετάφραση είναι τα λόγια. Η τοπικοποίηση είναι αυτό που χρειάζεται μια κουλτούρα από αυτά.

Οι σωστοί όροι, η αργκό, τα ονόματα όπως ειπώθηκαν, μια αναφορά που αλλάζει με μία που ξέρει το κοινό, ό,τι αποφεύγει αυτή η κουλτούρα, ο βαθμός βωμολοχίας που ταιριάζει. Όλα αυτά τα αποφασίζει το MLFM, και με τον καιρό και την εικόνα, όταν χρειάζεται να αλλάξει.

Είναι το MLFM παραγωγική τεχνητή νοημοσύνη;

Όχι. Η IBM την ορίζει έτσι:

Η παραγωγική τεχνητή νοημοσύνη, που μερικές φορές λέγεται gen AI, είναι τεχνητή νοημοσύνη (AI) που μπορεί να δημιουργεί πρωτότυπο περιεχόμενο, όπως κείμενο, εικόνες, βίντεο, ήχο ή κώδικα λογισμικού, ως απάντηση στο prompt ή στο αίτημα ενός χρήστη.

IBM, What is generative AI?

Είναι ένα δυνατό εργαλείο για να φτιάχνεις καινούργια πράγματα. Το MLFM δεν έχει prompt και δεν επινοεί τίποτα καινούργιο: αποφασίζει πώς θα τοπικοποιηθεί ό,τι υπάρχει ήδη. Η πλήρης θέση μας βρίσκεται στα Γιατί το Familiar Labs δεν είναι παραγωγική AI με την παραδοσιακή έννοια και Η μετάφραση δεν είναι παραγωγή.

Ποιανού είναι οι αποφάσεις;

Δικές σας. Κάθε απόφαση που παίρνει το MLFM καταγράφεται μαζί με τη μεταγλώττιση, στο αρχείο αποφάσεων.

ΣΗΜΕΡΑ
Οι creative directors σας ελέγχουν τις αποφάσεις της μετάφρασης.
Οι αποδόσεις μαζί με το σκεπτικό της καθεμίας· διαλέγουν μία πριν βγει οτιδήποτε προς τα έξω.
ΣΗΜΕΡΑ
Μια λίστα «Χωρίς μετάφραση» και ένα πλαίσιο μίας πρότασης ταξιδεύουν μαζί με την εργασία.
ΣΤΑ ΣΚΑΡΙΑ
Οι αποφάσεις για τον ήχο και την εικόνα, στον ίδιο έλεγχο.
ΣΤΑ ΣΚΑΡΙΑ
Μνήμη αποφάσεων.
Μια αλλαγή που απομνημονεύεται για έναν δημιουργό εφαρμόζεται πρώτη στην επόμενη μεταγλώττιση, οπότε μια επιλογή που κάνετε μία φορά περνά και στο επόμενο επεισόδιο.

Όλη η ιστορία βρίσκεται στο Το αρχείο αποφάσεων: πώς οι creative directors κατευθύνουν το MLFM· το προγραμματισμένο API στην τεκμηρίωση των αποφάσεων.

ΕΡΩΤΗΣΕΙΣ

Τι σημαίνει MLFM;

Το MLFM σημαίνει Multimodal Localization Foundation Model, θεμελιώδες μοντέλο πολυτροπικής τοπικοποίησης: ένα νέο παράδειγμα, το πρώτο του είδους του, ένα μοντέλο που αποφασίζει τι θα τοπικοποιηθεί και πώς, σε κείμενο, ήχο και εικόνα. Διαλέγει την απόδοση μιας ατάκας, τι θα μεταφραστεί στον ήχο, ποιος μιλάει στην οθόνη και πώς ακολουθούν τα χείλη, οι εκφράσεις και οι χειρονομίες.

Είναι το MLFM μοντέλο βίντεο;

Όχι με τη συνηθισμένη έννοια. Το MLFM δουλεύει πάνω σε υλικό που υπάρχει ήδη και αποφασίζει πώς θα τοπικοποιηθεί: τα λόγια, η φωνή, τα χείλη και οι εκφράσεις. Ο άνθρωπος στην οθόνη μένει ακριβώς όπως είναι, σε κάθε γλώσσα.

Φτιάχνει το MLFM καινούργιο υλικό;

Όχι. Δεν υπάρχει prompt και τίποτα καινούργιο δεν επινοείται. Το MLFM αποφασίζει πώς θα τοπικοποιηθεί ό,τι υπάρχει ήδη: ο ηθοποιός, ο χρονισμός και η σκηνή μένουν, ενώ τα λόγια, το κανάλι της φωνής και τα χείλη αλλάζουν για να ταιριάξουν στη νέα γλώσσα.

Τι αποφασίζει το MLFM στον ήχο;

Τι πρέπει να μεταφραστεί καθόλου. Βρίσκει την κύρια φωνή και τη μεταφέρει στη νέα γλώσσα με τη φωνή του ίδιου του ομιλητή. Τα γέλια, το πλήθος, ένα ξεφωνητό και κάποιος στο βάθος που κανείς δεν ξεχωρίζει τι λέει μένουν όπως ήταν.

Αλλάζει το MLFM τις εκφράσεις;

Όταν το ζητά η έμφαση ή η κουλτούρα. Τα χείλη ακολουθούν τα νέα λόγια σε κάθε ατάκα· οι εκφράσεις και οι χειρονομίες ακολουθούν όταν μια ατάκα πέφτει αλλιώς στη νέα γλώσσα. Ο άνθρωπος μένει ακριβώς όπως είναι.

Μεταφράζει το MLFM το κείμενο στην οθόνη;

Όχι ακόμα. Το κείμενο μέσα στο κάδρο, όπως μια οθόνη κινητού, ένα εξώφυλλο βιβλίου, μια πινακίδα δρόμου ή η ταμπέλα ενός μαγαζιού, ενσωματώνεται τώρα, γραμμένο με τους όρους που έχετε ήδη διαλέξει· το μοντέλο αποφασίζει επί τόπου τι μένει όπως γυρίστηκε, μια μάρκα, ένα όνομα, η αργκό: ένα σακουλάκι Tostitos μένει Tostitos. Σήμερα τοπικοποιούνται τα λόγια, η φωνή, τα χείλη, οι εκφράσεις και οι χειρονομίες.

Μπορώ να αλλάξω μια απόφαση που πήρε το μοντέλο;

Ναι. Κάθε απόφαση καταγράφεται μαζί με την εργασία και μπορείτε να την αλλάξετε. Σήμερα οι creative directors σας διαλέγουν ανάμεσα στις αποδόσεις της μετάφρασης, την καθεμία με το σκεπτικό της, και μια επιλογή που κάνετε μία φορά περνά και στο επόμενο επεισόδιο.

Δείχνει το μοντέλο τις επιλογές του στον ήχο και στο βίντεο;

Οι επιλογές της μετάφρασης φαίνονται σήμερα. Οι επιλογές στον ήχο, όπως τι μένει στην πρωτότυπη γλώσσα, και στην εικόνα, όπως η επιλογή άλλου προσώπου ή του ποιο κείμενο μέσα στο κάδρο θα μεταφραστεί, είναι στα σκαριά.

ΠΑΡΑΠΟΜΠΕΣ

ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Η Familiar Labs φτιάχνει μεταγλώττιση νέας γενιάς με ένα θεμελιώδες μοντέλο πολυτροπικής τοπικοποίησης (MLFM), το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο αποφασίζει τι θα τοπικοποιηθεί σε κείμενο, ήχο και εικόνα και σου δείχνει τις επιλογές. Η φωνή και τα χείλη σου, μεταφερμένα σε νέες γλώσσες. Μια ομάδα 7 ατόμων με διδάκτορες, με την υποστήριξη των Samsung, RedBird και Gold House. Η αποστολή μας

Δες το πλήρες benchmark →Μίλα με την ομάδα