ΟΡΙΣΜΟΣ

Το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση

FAMILIAR ΕΡΕΥΝΑΕΝΗΜΕΡΩΣΗ ΟΛΑ ΤΑ ΑΡΘΡΑ
ΔΙΑΒΑΣΤΕ ΤΟ ΣΕEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

ΠΕΡΙΛΗΨΗ

Το Familiar είναι το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο που μεταφέρει τα λόγια, τη φωνή, τα χείλη και τη σκηνή σε νέα γλώσσα, όλα μαζί. Ως τώρα, η μηχανική μεταγλώττιση περνούσε από χωριστά εργαλεία, που το καθένα μάντευε χωρίς τα άλλα. Το πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM) παίρνει τις αποφάσεις μαζί, ώστε ο ίδιος ηθοποιός να δίνει την ίδια ερμηνεία σε κάθε γλώσσα. Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή μαζί.
ΤΟ ΠΡΩΤΟ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ ΓΙΑ ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Τι είναι ένα θεμελιώδες μοντέλο για πολυτροπική μετάφραση;

Ένα μοντέλο που μεταφέρει τα λόγια, τη φωνή, τα χείλη και τη σκηνή σε νέα γλώσσα, όλα μαζί.

Ένα βίντεο λέει περισσότερα από τα λόγια του. Η φωνή του ομιλητή, ο τρόπος που κινείται το στόμα του, τα γέλια στον χώρο και η μουσική κάτω από μια σκηνή κουβαλούν όλα νόημα. Για να μεταφραστεί καλά ένα βίντεο, πρέπει να περάσουν όλα αυτά απέναντι και να συμφωνούν μεταξύ τους: η ατάκα πρέπει να ταιριάζει στο στόμα, η φωνή να δένει με τη σκηνή, και ο άνθρωπος στην οθόνη να μένει ακριβώς όπως είναι.

Ένα θεμελιώδες μοντέλο για πολυτροπική μετάφραση είναι ένα μοντέλο που κάνει όλη αυτή τη δουλειά. Παίρνει το υλικό ως ένα ενιαίο πράγμα και αποφασίζει πώς θα πέσει κάθε κομμάτι του στη νέα γλώσσα. Το Familiar έφτιαξε το πρώτο και το λέει MLDM.

Γιατί η μεταγλώττιση περνούσε ως τώρα από χωριστά εργαλεία;

Η ανθρώπινη μεταγλώττιση ήταν πάντα απρόσιτη για το μεγαλύτερο μέρος του κόσμου. Ακόμα και οι μεγαλύτερες παραγωγές μεταγλωττίζονται σε λίγες μόνο γλώσσες, λόγω κόστους, ανθρώπων και χρόνου· οι μικρότερες παραγωγές, οι σειρές και τα κάθετα δράματα δεν μεταγλωττίζονται καθόλου. Μια πλήρης ανθρώπινη μεταγλώττιση, μετάφραση συν φωνή, κοστίζει από $70 έως $150 ανά τελικό λεπτό.

Η μηχανική μεταγλώττιση ξεκίνησε ως αλυσίδα: μεταγραφή, μετά μετάφραση, μετά φωνή, μετά lip sync.

Αυτή η αλυσίδα έκανε δυνατή τη μηχανική μεταγλώττιση, και κάθε εργαλείο της έγινε καλό στη δική του δουλειά. Κάθε στάδιο όμως δούλευε χωρίς τα άλλα. Η μετάφραση δεν είδε ποτέ το στόμα στο οποίο έπρεπε να ταιριάξει. Η φωνή δεν άκουσε ποτέ τη σκηνή στην οποία βρισκόταν. Ένα μικρό λάθος στην αρχή μεγάλωνε σε κάθε επόμενο στάδιο, και το αποτέλεσμα ήταν η φωνή ενός ξένου πάνω σε ένα πρόσωπο που δεν ταίριαζε.

Τι αλλάζει όταν ένα μοντέλο τα μεταφέρει όλα μαζί;

Η ΕΠΟΧΗ ΤΗΣ ΑΛΥΣΙΔΑΣ

  • Χωριστά εργαλεία, το ένα μετά το άλλο.
  • Κάθε στάδιο μαντεύει χωρίς τα άλλα.
  • Μια νέα φωνή πάνω στο πρωτότυπο πρόσωπο.

ΤΟ ΠΡΩΤΟ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ

  • Ένα μοντέλο, ένα σύνολο αποφάσεων.
  • Η μετάφραση ξέρει σε ποιο στόμα πρέπει να ταιριάξει.
  • Η φωνή ξέρει σε ποια σκηνή βρίσκεται.
  • Ο άνθρωπος δεν αλλάζει ποτέ.
++
Οπτικοακουστική μετάφραση με τη μία, όχι σε αλυσίδα: η πρώτη του είδους της.

Περνά η ερμηνεία του ίδιου ηθοποιού: η δική του φωνή, τα χείλη του που κινούνται με τα νέα λόγια, οι εκφράσεις του και ο ήχος της σκηνής γύρω του. Τα γέλια, το πλήθος και η μουσική μένουν όπως ήταν. Στα ίδια κλιπ, το YouTube είχε 232.6% περισσότερα λάθη στον ήχο περιβάλλοντος από το Familiar. Μόνο στα λόγια, η μετάφραση ισοφαρίζει τον έμπειρο επαγγελματία σε πρώτο πέρασμα: 100.3% της ποιότητάς του. Όλα τα νούμερα βρίσκονται στο benchmark.

Αλλάζει και η δουλειά γύρω από μια μεταγλώττιση. Ο δρόμος της υψηλής ποιότητας σήμερα είναι υποβοηθητικός: μια ομάδα καλλιτεχνών VFX δουλεύει πλάνο προς πλάνο για εβδομάδες, και κάθε γλώσσα είναι ένα καινούργιο έργο. Τα εργαλεία που κάνουν σήμερα τη δουλειά με τη μία είναι γρήγορα και θυσιάζουν τα υπόλοιπα: η μετάφραση δεν επεξεργάζεται, η μουσική και ο ήχος του χώρου χάνονται, και τα χείλη αποτυγχάνουν στα συνηθισμένα πλάνα, ένα χέρι μπροστά στο πρόσωπο, ένα μικρόφωνο, θόλωμα, bokeh, μια πλάγια λήψη, πολλά άτομα στο κάδρο. Καμία αντίληψη του χώρου, καμία κατανόηση του κόσμου. Το Familiar κάνει τη δουλειά με τη μία και με την ποιότητα: ένα ανέβασμα μεταφέρει ένα βίντεο σε κάθε γλώσσα που διαλέγετε, όλες μαζί, και οι αποφάσεις συμφωνούν επειδή τις παίρνει ένα μοντέλο, οπότε τίποτα δεν χρειάζεται να ξαναραφτεί με το χέρι.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Τι αποφασίζει το MLDM και τι διαλέγετε εσείς;

Το πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης είναι το ίδιο το μοντέλο. Το MLDM αποφασίζει τι θα τοπικοποιηθεί και πώς, σε κείμενο, ήχο και εικόνα. Ο πλήρης ορισμός βρίσκεται στο Τι είναι ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM);

ΤΙ ΑΠΟΦΑΣΙΖΕΤΑΙ ΚΑΙ ΤΙ ΔΙΑΛΕΓΕΤΑΙ

ΚΕΙΜΕΝΟ
ΤΟ MLDM ΑΠΟΦΑΣΙΖΕΙΠοια απόδοση μεταφέρει μια ατάκα στη νέα γλώσσα: τους όρους, την αργκό, τα ονόματα, τις αναφορές.
ΕΣΕΙΣ ΔΙΑΛΕΓΕΤΕΟι creative directors σας διαλέγουν ανάμεσα στις αποδόσεις, την καθεμία με το σκεπτικό της, πριν βγει οτιδήποτε προς τα έξω.
ΗΧΟΣ
ΤΟ MLDM ΑΠΟΦΑΣΙΖΕΙΤι πρέπει να μεταφραστεί καθόλου: την κύρια φωνή με τη φωνή του ίδιου του ομιλητή, τα υπόλοιπα όπως ήταν.
ΕΣΕΙΣ ΔΙΑΛΕΓΕΤΕΤι μένει στην πρωτότυπη γλώσσα. Στα σκαριά.
ΕΙΚΟΝΑ
ΤΟ MLDM ΑΠΟΦΑΣΙΖΕΙΠοιος πραγματικά το λέει, και πώς ακολουθούν τα χείλη και οι εκφράσεις.
ΕΣΕΙΣ ΔΙΑΛΕΓΕΤΕΆλλο πρόσωπο όταν το μοντέλο διάλεξε λάθος ομιλητή, και ποιο κείμενο μέσα στο κάδρο θα μεταφραστεί. Στα σκαριά.
  1. ΣΗΜΕΡΑ

    Οι αποφάσεις της μετάφρασης, με έλεγχο από τους creative directors σας.

    Κάθε απόφαση καταγράφεται μαζί με την εργασία. Μπορείτε να αλλάξετε οποιαδήποτε από αυτές.
  2. ΣΤΑ ΣΚΑΡΙΑ

    Οι αποφάσεις για τον ήχο και την εικόνα, στον ίδιο έλεγχο.

  3. ΣΤΑ ΣΚΑΡΙΑ

    Το κείμενο μέσα στο κάδρο, και η live μεταγλώττιση.

    Μια οθόνη κινητού ή μια πινακίδα δρόμου, γραμμένη με τους όρους που έχετε ήδη διαλέξει· μια μάρκα ή ένα όνομα μένει όπως γυρίστηκε, με απόφαση επί τόπου: ένα σακουλάκι Tostitos μένει Tostitos.

Η καταγραφή αυτών των επιλογών βρίσκεται στο Το αρχείο αποφάσεων: πώς οι creative directors κατευθύνουν το MLDM.

Τι κερδίζει ένα στούντιο από ένα θεμελιώδες μοντέλο;

MLDM για την κουραστική δουλειά. Οι δημιουργικές αποφάσεις μένουν στους ανθρώπους που έφτιαξαν το έργο· το μοντέλο μεταφέρει τα υπόλοιπα σε κάθε γλώσσα, όλα μαζί.

ΓΛΩΣΣΕΣ

30 στην έξοδο, 99 στην είσοδο

Μεταγλωττίσεις σε 30 γλώσσες, από υλικό σε οποιαδήποτε από 99 γλώσσες-πηγές.

ΤΟ ΤΕΛΙΚΟ ΒΙΝΤΕΟ

Έως 4K

Η ΠΛΗΡΗΣ ΜΙΞΗ

Πραγματικό surround 5.1 ή στερεοφωνική

Η επιλογή είναι δική σας, σε PCM 24-bit.

ΥΠΟΤΙΤΛΟΙ

.srt και .vtt

Κομμένοι κατά τις συμβάσεις του Timed Text Style Guide του Netflix, του προτύπου υποτίτλων με το οποίο δουλεύει ο κλάδος.

ΙΔΙΩΤΙΚΟ INFERENCE

Τορόντο, Καναδάς

Ένα cluster από NVIDIA B300 GPU αξίας οκτώ ψηφίων που μας ανήκει, ποτέ σε δημόσιο cloud.

Κάθε μεταγλώττιση επεξεργάζεται σε αυτό το cluster, ποτέ από τρίτο πάροχο inference, οπότε το υλικό σας δεν διαρρέει ποτέ. Λεπτομέρειες στην τεκμηρίωση για το ιδιωτικό inference και στην τεκμηρίωση για τα παραδοτέα. Πίσω του βρίσκονται διδάκτορες που ξεκίνησαν το πεδίο των κοινών οπτικοακουστικών μοντέλων για ανθρώπους: 22 δημοσιεύσεις, πάνω από 10.000 αναφορές, με τον Prof. Xu Zheng και τον Prof. Youngjung Uh ως συμβούλους, και με τη στήριξη των Samsung, RedBird και Gold House. Οι δημοσιεύσεις βρίσκονται στην έρευνά μας.

Είναι ένα θεμελιώδες μοντέλο για μετάφραση παραγωγική τεχνητή νοημοσύνη;

Όχι με την παραδοσιακή έννοια. Η IBM ορίζει την παραγωγική τεχνητή νοημοσύνη έτσι:

Η παραγωγική τεχνητή νοημοσύνη, που μερικές φορές λέγεται gen AI, είναι τεχνητή νοημοσύνη (AI) που μπορεί να δημιουργεί πρωτότυπο περιεχόμενο, όπως κείμενο, εικόνες, βίντεο, ήχο ή κώδικα λογισμικού, ως απάντηση στο prompt ή στο αίτημα ενός χρήστη.
IBM, What is generative AI?

Είναι ένα δυνατό εργαλείο για να φτιάχνεις καινούργια πράγματα. Το MLDM δεν έχει prompt και δεν επινοεί τίποτα καινούργιο: μεταφέρει ό,τι υπάρχει ήδη σε άλλη γλώσσα. Όχι «παραγωγική τεχνητή νοημοσύνη», αλλά μετάφραση στην υπηρεσία των δημιουργών. Από άνθρωπο σε άνθρωπο, σε όλο και περισσότερο κόσμο.

Τα υπόλοιπα κείμενα αυτής της σειράς: Οπτικοακουστική μετάφραση με τη μία, όχι σε αλυσίδα, Τι σημαίνει ένα θεμελιώδες μοντέλο για πολυτροπική μετάφραση για τα στούντιο και τις πλατφόρμες και Πρωτοπορία στην πολυτροπική μετάφραση: από την κοινή οπτικοακουστική έρευνα στο πρώτο θεμελιώδες μοντέλο.

ΕΡΩΤΗΣΕΙΣ

Τι είναι ένα θεμελιώδες μοντέλο για πολυτροπική μετάφραση;

Ένα μοντέλο που μεταφέρει τα λόγια, τη φωνή, τα χείλη και τη σκηνή ενός βίντεο σε νέα γλώσσα, όλα μαζί. Το πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM) του Familiar είναι το πρώτο του είδους του: οι αποφάσεις συμφωνούν επειδή τις παίρνει ένα μοντέλο, και ο άνθρωπος στην οθόνη δεν αλλάζει ποτέ.

Σε τι διαφέρει από τη μηχανική μεταγλώττιση ως τώρα;

Η μηχανική μεταγλώττιση ως τώρα ήταν μια αλυσίδα από χωριστά εργαλεία: μεταγραφή, μετά μετάφραση, μετά φωνή, μετά lip sync, με το καθένα να μαντεύει χωρίς τα άλλα. Το MLDM παίρνει τις αποφάσεις μαζί. Πρώτα η μετάφραση, και μετά η μεταγλώττιση με τη μία: η φωνή, τα χείλη και η σκηνή μαζί.

Είναι ένα θεμελιώδες μοντέλο για πολυτροπική μετάφραση παραγωγική τεχνητή νοημοσύνη;

Όχι με την παραδοσιακή έννοια. Δεν υπάρχει prompt και τίποτα καινούργιο δεν επινοείται: το MLDM αποφασίζει πώς θα τοπικοποιηθεί υλικό που υπάρχει ήδη. Η παραγωγική τεχνητή νοημοσύνη είναι ένα δυνατό εργαλείο για καινούργια πράγματα· αυτό είναι μετάφραση στην υπηρεσία των δημιουργών, από άνθρωπο σε άνθρωπο, σε όλο και περισσότερο κόσμο.

Μπορώ να ελέγξω τι αποφάσισε το μοντέλο;

Ναι. Κάθε απόφαση καταγράφεται μαζί με την εργασία και μπορείτε να αλλάξετε οποιαδήποτε από αυτές. Σήμερα οι creative directors σας διαλέγουν ανάμεσα στις αποδόσεις της μετάφρασης, την καθεμία με το σκεπτικό της. Οι επιλογές για τον ήχο και την εικόνα είναι στα σκαριά.

Ποιες γλώσσες καλύπτει;

Οι μεταγλωττίσεις βγαίνουν σε 30 γλώσσες, από υλικό σε οποιαδήποτε από 99 γλώσσες-πηγές. Ένα ανέβασμα μεταφέρει ένα βίντεο σε κάθε γλώσσα που διαλέγετε, παραδοτέο έως 4K με πραγματική μίξη surround 5.1 ή στερεοφωνική.

Πού γίνεται η επεξεργασία του υλικού μου;

Στο δικό του cluster από NVIDIA B300 GPU αξίας οκτώ ψηφίων που έχει το Familiar στο Τορόντο του Καναδά: ιδιωτικό inference, ποτέ σε δημόσιο cloud ή σε τρίτο πάροχο inference, οπότε το υλικό σας δεν διαρρέει ποτέ.

ΠΑΡΑΠΟΜΠΕΣ

  1. [1]IBM, What is generative AI?, ανάγνωση στις 27 Οκτωβρίου 2026
  2. [2]Netflix, Timed Text Style Guide: Subtitle Templates, ανάγνωση στις 30 Οκτωβρίου 2026
  3. [3]Το benchmark του Familiar
  4. [4]Η αποστολή μας

ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Η Familiar Labs φτιάχνει μεταγλώττιση νέας γενιάς με ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM), το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο αποφασίζει τι θα τοπικοποιηθεί σε κείμενο, ήχο και εικόνα και σου δείχνει τις επιλογές. Η φωνή και τα χείλη σου, μεταφερμένα σε νέες γλώσσες. Μια ομάδα 8 ατόμων με διδάκτορες, με την υποστήριξη των Samsung, RedBird και Gold House. Η αποστολή μας

Δες το πλήρες benchmark →Μίλα με την ομάδα