ΣΗΜΕΙΩΜΑ ΕΡΕΥΝΑΣ

Τι μετράει στη μετάφραση βίντεο

FAMILIAR ΕΡΕΥΝΑΕΝΗΜΕΡΩΣΗ ΟΛΑ ΤΑ ΑΡΘΡΑ
ΔΙΑΒΑΣΤΕ ΤΟ ΣΕEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

ΠΕΡΙΛΗΨΗ

Τέσσερα πράγματα κρίνουν αν μια μεταγλώττιση στέκει: η μετάφραση διαβάζεται σαν να γράφτηκε στη γλώσσα-στόχο, ο ήχος εξακολουθεί να ακούγεται σαν τον ομιλητή, το κείμενο στην οθόνη περνά στη νέα γλώσσα και τα χείλη ταιριάζουν. Τα δύο πρώτα κρίνουν όλα τα υπόλοιπα. Και τα τέσσερα αποδεικνύονται το ίδιο πρόβλημα: η ίδια ερμηνεία, σε άλλη γλώσσα.

Τα τέσσερα προβλήματα

Ρωτήστε τι κάνει μια μεταγλωττισμένη ταινία καλή και θα πάρετε μια μακριά λίστα. Συμπυκνώνεται σε τέσσερα:

ΦΥΣΙΚΗ ΜΕΤΑΦΡΑΣΗ
ΤΙ ΣΗΜΑΙΝΕΙ «ΚΑΛΟ»Ένα νέο σενάριο στη γλώσσα-στόχο που αποδίδει καλά το βίντεο· όχι αντιστοίχιση πρόταση προς πρόταση.
ΦΥΣΙΚΟΣ ΗΧΟΣ
ΤΙ ΣΗΜΑΙΝΕΙ «ΚΑΛΟ»Ο ίδιος άνθρωπος, το ίδιο συναίσθημα, η ίδια έμφαση, στη νέα γλώσσα.
ΚΕΙΜΕΝΟ ΣΤΗΝ ΟΘΟΝΗ
ΤΙ ΣΗΜΑΙΝΕΙ «ΚΑΛΟ»Προσαρμοσμένο στη γλώσσα και στη στιγμή που εμφανίζεται, χωρίς να αλλοιώνει το βίντεο.
LIP SYNC
ΤΙ ΣΗΜΑΙΝΕΙ «ΚΑΛΟ»Αόρατο. Ο θεατής δεν καταλαβαίνει ποτέ ότι έγινε.

Αν αποτύχουν τα δύο πρώτα, ό,τι ακολουθεί δεν έχει σημασία: μια λάθος μεταφρασμένη πρόταση ή μια φωνή που ακούγεται ξένη αρκούν από μόνες τους για να ρίξουν τη μεταγλώττιση. Τα δύο τελευταία κρίνουν αν το αποτέλεσμα μοιάζει με το πρωτότυπο ή με μεταγλώττιση.

Φυσική μετάφραση: νέο σενάριο, όχι αντιστοίχιση

Κάθε γλώσσα λέει τα πράγματα με τον δικό της τρόπο: λέξεις, ιδιωματισμοί, σύνταξη, τρόποι προσφώνησης, ακόμα και το τι λέγεται καθόλου. Ζητήστε από ένα μοντέλο να «μεταφράσει» και θα αντιστοιχίσει τις προτάσεις μία προς μία από τη γλώσσα Α στη γλώσσα Β. Το ίδιο κάνουν και οι άνθρωποι: μόλις τους δοθεί ο ρόλος του μεταφραστή, η δουλειά καταλήγει σε μετατροπή προτάσεων.

Μια μεταγλώττιση που μεταφράστηκε έτσι γίνεται κατανοητή και είναι λάθος.

Αυτό που χρειάζεται ο θεατής είναι ένα νέο σενάριο, γραμμένο στη γλώσσα-στόχο, που αποδίδει καλά το περιεχόμενο του βίντεο.
  • Τα Ιαπωνικά αποφεύγουν συνήθως την πολύ ευθεία διατύπωση· μια φυσική ατάκα συχνά πρέπει να ξαναχτιστεί έμμεσα, όχι να μαλακώσει λέξη προς λέξη.
  • Τα Κορεατικά παραλείπουν συνεχώς το υποκείμενο· αν μεταφέρετε τις αγγλικές αντωνυμίες στα Κορεατικά με την αγγλική συχνότητα, το κείμενο ακούγεται ξένο ακόμα κι όταν κάθε λέξη είναι σωστή.
  • Η σειρά των λέξεων, το ύφος, οι τύποι ευγένειας και όσα μια κουλτούρα αφήνει ανείπωτα αλλάζουν από γλώσσα σε γλώσσα· μια μετάφραση δεν είναι καλή επειδή επέζησε το κυριολεκτικό νόημα.

Το «καλά» δεν χωράει σε λίστα ελέγχου, γι' αυτό συμπυκνώνουμε τον στόχο σε μία πρόταση: να αποδοθεί καλά το περιεχόμενο του βίντεο στη γλώσσα-στόχο. Αυτό μετριέται:

100.3%

της ποιότητας του έμπειρου ανθρώπινου μεταφραστή, από το Familiar, με βαθμολόγηση στα τυφλά απέναντι σε διορθωμένες μεταφράσεις αναφοράς από ειδικούς

ΓΑΛΛΙΚΑ, ΚΙΝΕΖΙΚΑ, ΧΙΝΤΙ, ΙΝΔΟΝΗΣΙΑΚΑ (ΠΡΩΤΟ ΠΕΡΑΣΜΑ ΕΜΠΕΙΡΩΝ ΕΠΑΓΓΕΛΜΑΤΙΩΝ ΜΕΤΑΦΡΑΣΤΩΝ)
54.7%

λιγότερα σοβαρά μεταφραστικά λάθη από το Familiar στα ίδια κλιπ (29 έναντι 64)

ΕΝΑΝΤΙ ELEVENLABS DUBBING V2 (ALPHA) · 111 ΖΕΥΓΗ ΜΕΤΑΓΛΩΤΤΙΣΕΩΝ · 3 ΓΛΩΣΣΕΣ

Φυσικός ήχος: ο ίδιος άνθρωπος, σε νέα γλώσσα

Η προφορά έχει σχεδόν λυθεί. Οι ενδιαφέρουσες αποτυχίες βρίσκονται πιο πέρα:

  • Ταυτότητα: ο ίδιος άνθρωπος συνεχίζει να ακούγεται ο ίδιος, σε κάθε γλώσσα.
  • Συναίσθημα: ό,τι ένιωσε ο ομιλητής περνά και στη νέα γλώσσα.
  • Έμφαση, ρυθμός, πρόθεση: πού γέρνει η πρόταση, πόσο γρήγορα κινείται, τι προσπαθεί να πετύχει.

Ο στόχος συμπυκνώνεται όπως και ο στόχος της μετάφρασης: ο ήχος ταιριάζει με το βίντεο. Όχι «φτιάξε τη γλώσσα Β με τη φωνή από τη γλώσσα Α». Η ίδια ερμηνεία, σε νέα γλώσσα. Και η σκηνή είναι μέρος του ήχου: τα γέλια, η μουσική, ο χώρος.

270%

περισσότερη ζημιά στον ήχο περιβάλλοντος από το ElevenLabs (11.92 έναντι 3.22 dB): μουσική, εφέ, ατμόσφαιρα

ΜΕΛΕΤΗ DUBBING V2 (ALPHA) · ΤΑ ΙΔΙΑ ΚΛΙΠ
+27.8%

μεγαλύτερη ομοιότητα με τον ομιλητή για το Familiar (0.461 έναντι 0.360), πιο κοντά και στις 11 γλώσσες

ΕΝΑΝΤΙ ELEVENLABS · ΜΕΛΕΤΗ DUBBING V1 · 418 ΖΕΥΓΗ ΜΕΤΑΓΛΩΤΤΙΣΕΩΝ
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Το κείμενο στην οθόνη είναι μέρος του βίντεο

Το σημερινό βίντεο στηρίζεται πολύ στο κείμενο στην οθόνη: λεζάντες, αστεία, memes, μια μοναδική λέξη στο ρυθμό ενός beat. Το καθένα είναι ένα οπτικό γεγονός στη γλώσσα του πρωτοτύπου. Η προσαρμογή του έχει δύο προϋποθέσεις:

  • Ποτέ να μην αλλοιώνει το βίντεο. Τεχνουργήματα ή οπτικός θόρυβος κάνουν το αποτέλεσμα χειρότερο από το πρωτότυπο.
  • Ποτέ να μη μεταφράζεται κατά λέξη. Πρέπει να καταλάβετε γιατί αυτό το κείμενο εμφανίζεται αυτή τη στιγμή, σε αυτό το σημείο, πριν μπορέσετε να το προσαρμόσετε.

Σήμερα το πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM) του Familiar, το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση, ένα νέο παράδειγμα, το πρώτο του είδους του, μεταφράζει τίτλους, περιγραφές και υπότιτλους μαζί με τη μεταγλώττιση. Το κείμενο μέσα στο κάδρο είναι στα σκαριά: μια οθόνη κινητού ή μια πινακίδα δρόμου, γραμμένα με τους όρους που έχετε ήδη διαλέξει, με μια μάρκα ή ένα όνομα να μένει όπως γυρίστηκε, με απόφαση επί τόπου, ώστε ένα σακουλάκι Tostitos να μένει Tostitos, και εσείς να διαλέγετε ποιο κείμενο θα μεταφραστεί. Ο κανόνας ισχύει: αν η επέμβαση φαίνεται, δεν είναι αρκετά καλή.

ΤΟ ΠΡΩΤΟ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ ΓΙΑ ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Lip sync: πετυχαίνει όταν δεν το προσέχει κανείς

Το lip sync έχει την ίδια αυστηρή απαίτηση: ποτέ να μην αλλοιώνει το βίντεο. Το μεγαλύτερο κομπλιμέντο για το lip sync μιας μεταγλώττισης είναι η ερώτηση «τι άλλαξε;»

Μοιάζει το λιγότερο σημαντικό από τα τέσσερα· στην τελική εμπειρία ισχύει σχεδόν το αντίθετο. Οι άνθρωποι ακούνε με τα μάτια: ο ίδιος ήχος ακούγεται ως διαφορετικοί φθόγγοι πάνω σε διαφορετικές κινήσεις του στόματος, το φαινόμενο McGurk. Ένα στόμα που δεν ταιριάζει είναι ένας από τους λόγους που το μεταγλωττισμένο βίντεο προκαλεί μια αμηχανία που οι θεατές δεν μπορούν να κατονομάσουν.
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

Το φαινόμενο δουλεύει και υπέρ της μεταγλώττισης. Μόλις το στόμα ταιριάξει, ο εγκέφαλος λύνει την ασάφεια προς τη συμφωνία: η προφορά ακούγεται πιο καθαρή και η χροιά πιο κοντά στον ίδιο άνθρωπο.

Τα δύσκολα σημεία: φωνές εκτός κάδρου, ομιλητές που μιλούν ταυτόχρονα, άνθρωποι που μοιάζουν στην όψη ή στη φωνή, και η επέμβαση στο στόμα χωρίς να χαλάσει το πρόσωπο. Βάλτε δύο ανθρώπους στην οθόνη και τα σημερινά εργαλεία κάνουν lip sync και στα δύο στόματα ταυτόχρονα.

Τα χείλη είναι μόνο η αρχή. Ένας άνθρωπος ερμηνεύει μια πρόταση με όλο το πρόσωπο, τα μάτια, τα φρύδια, τα μάγουλα, το κεφάλι, και με το σώμα: χειρονομίες, νεύματα, το μισό χτύπημα όταν ακούει.

Ένα πρόβλημα, όχι τέσσερα

Κάθε απαίτηση κατέληγε στην ίδια πρόταση. Φυσική μετάφραση: γράψτε ό,τι λέει αυτό το βίντεο, στη γλώσσα-στόχο. Φυσικός ήχος: κρατήστε την ίδια ερμηνεία στα νέα λόγια. Κείμενο στην οθόνη: μάθετε γιατί βρίσκεται εκεί πριν το αγγίξετε. Lip sync: επέμβετε στον άνθρωπο χωρίς να τον χαλάσετε.

Η ίδια ερμηνεία, σε άλλη γλώσσα.

Αυτό αποφασίζει το MLDM, μετρημένο στα ίδια κλιπ και δημοσιευμένο στο /benchmark. Κάθε απόφαση καταγράφεται μαζί με την εργασία και μπορεί να αλλάξει· σήμερα οι creative directors σας διαλέγουν ανάμεσα στις αποδόσεις της μετάφρασης.

ΠΑΡΑΠΟΜΠΕΣ

  1. [1]Benchmark Familiar έναντι ElevenLabs: πλήρη αποτελέσματα, διαστήματα και ηχητικά παραδείγματα
  2. [2]AI έναντι ανθρώπινης μετάφρασης: δοκιμή απέναντι σε επαγγελματίες
  3. [3]AI lip sync: τι είναι, τι του ξεφεύγει, τι το ξεπερνά
  4. [4]Γιατί η μεταγλώττιση ξενίζει στο εξωτερικό και πώς το λύνουν τα στούντιο (η εκδοχή αυτού του επιχειρήματος για τα στούντιο)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Η Familiar Labs φτιάχνει μεταγλώττιση νέας γενιάς με ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM), το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο αποφασίζει τι θα τοπικοποιηθεί σε κείμενο, ήχο και εικόνα και σου δείχνει τις επιλογές. Η φωνή και τα χείλη σου, μεταφερμένα σε νέες γλώσσες. Μια ομάδα 8 ατόμων με διδάκτορες, με την υποστήριξη των Samsung, RedBird και Gold House. Η αποστολή μας

Δες το πλήρες benchmark →Μίλα με την ομάδα