ΕΠΕΞΗΓΗΣΗ

Η μετάφραση δεν είναι παραγωγή

FAMILIAR ΕΡΕΥΝΑΕΝΗΜΕΡΩΣΗ ΟΛΑ ΤΑ ΑΡΘΡΑ
ΔΙΑΒΑΣΤΕ ΤΟ ΣΕEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

ΠΕΡΙΛΗΨΗ

Όχι «παραγωγική τεχνητή νοημοσύνη», αλλά μετάφραση στην υπηρεσία των δημιουργών. Η παραγωγή και η μετάφραση είναι διαφορετικά ρήματα. Η παραγωγή παίρνει ένα prompt και φτιάχνει κάτι που δεν υπήρχε. Η μετάφραση παίρνει κάτι που υπάρχει ήδη, μια ερμηνεία, και το μεταφέρει σε άλλη γλώσσα. Το Familiar είναι ένα νέο παράδειγμα, το πρώτο του είδους του: ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM), το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση. Ο ηθοποιός, ο χρονισμός και η σκηνή μένουν· τα λόγια, το στόμα και το κανάλι της φωνής αλλάζουν για να ταιριάξουν στη νέα γλώσσα.
ΤΟ ΠΡΩΤΟ ΘΕΜΕΛΙΩΔΕΣ ΜΟΝΤΕΛΟ ΓΙΑ ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Δύο ρήματα

Η παραγωγική τεχνητή νοημοσύνη είναι μια χαρά για να φτιάχνεις καινούργια πράγματα: μπαίνει ένα prompt, βγαίνει νέο περιεχόμενο, και όλο το νόημα είναι ότι το αποτέλεσμα είναι καινούργιο. Η μετάφραση έχει τον αντίθετο στόχο.

ΜετάφρασηΤΟ ΑΛΛΟ ΡΗΜΑ

Μπαίνει μια ερμηνεία και βγαίνει η ίδια ερμηνεία σε άλλη γλώσσα.

ΠΑΡΑΓΩ

  • Είσοδος: ένα prompt
  • Έξοδος: νέο περιεχόμενο
  • Μέτρο: πόσο καινούργιο και καλό είναι το αποτέλεσμα

ΜΕΤΑΦΡΑΖΩ

  • Είσοδος: μια ολοκληρωμένη ερμηνεία
  • Έξοδος: η ίδια ερμηνεία σε άλλη γλώσσα
  • Μέτρο: πόσο πιστή μένει στο πρωτότυπο

Κάθε μεταφραστής, άνθρωπος ή μηχανή, κρίνεται από το πόσο λίγα επινοεί.

Τι μένει, τι αλλάζει

Ο ηθοποιός
ΑΛΛΑΖΕΙΤα λόγια
Το πρόσωπο
ΑΛΛΑΖΕΙΟι κινήσεις του στόματος
Ο χρονισμός
ΑΛΛΑΖΕΙΤο κανάλι της φωνής, στη νέα γλώσσα
Ο ήχος της σκηνής: τα γέλια, η μουσική, η ατμόσφαιρα
ΑΛΛΑΖΕΙ

Η φωνή στη νέα γλώσσα είναι η φωνή του ίδιου του ηθοποιού, παρμένη από το ίδιο το κλιπ. Τα ονόματα και οι χαρακτηριστικές ατάκες μένουν ακριβώς όπως ειπώθηκαν, μέσω μιας λίστας «Χωρίς μετάφραση»· τα αστεία ξαναγράφονται για να πιάνουν στη γλώσσα-στόχο.

Γιατί το lip sync είναι μέρος της μετάφρασης

Ο λόγος δεν ακούγεται μόνο με τα αυτιά. Στο φαινόμενο McGurk, μια φωνή που λέει [b], μεταγλωττισμένη πάνω σε ένα πρόσωπο που λέει [g], συνήθως ακούγεται ως [d], ένας ήχος που δεν τον έφερε κανένα από τα δύο κανάλια (Tiippana, 2014, που περιγράφει τους McGurk και MacDonald, 1976). Ο εγκέφαλος συγχωνεύει ό,τι βλέπει με ό,τι ακούει.
ΦΩΝΗ [b] + ΠΡΟΣΩΠΟ [g] = ΑΚΟΥΓΕΤΑΙ [d]

Μια μεταγλώττιση μόνο της φωνής αφήνει αυτή την αναντιστοιχία σε κάθε καρέ: το στόμα λέει μία γλώσσα και ο ήχος άλλη, οπότε η κατανόηση δυσκολεύει. Έτσι το στόμα γίνεται μέρος του μηνύματος. Το να μεταφράσεις μια ερμηνεία σημαίνει να μεταφράσεις τα χείλη μαζί με τα λόγια, και γι' αυτό σε μια μεταγλώττιση του Familiar τα χείλη κινούνται με τα νέα λόγια (οι συχνές ερωτήσεις, «Γιατί έχει σημασία το lip sync;»).

Οι creative directors ελέγχουν πριν βγει προς τα έξω

Κάποιες ατάκες μπορούν να βγουν με περισσότερους από έναν τρόπους: ένα αστείο, ένα πείραγμα, μια ατάκα που διαβάζεται ειλικρινής ή ξερή. Αυτές επιστρέφουν σε τρεις μεταφράσεις με διαφορετική πρόθεση και συναίσθημα· το ίδιο και η αργκό όπως ειπώθηκε και οι βρισιές χαμηλωμένες για μια εκδοχή για νεότερο κοινό. Η ομάδα διαλέγει μία, διορθώνει όποια ατάκα θέλει απέναντι στο πρωτότυπο, και μόνο τότε ξεκινά το render.

MLDM για την κουραστική δουλειά.

Η κουραστική δουλειά της μεταγλώττισης είναι να αποφασίζεις ποια φωνή και πώς ακολουθούν τα χείλη, για κάθε ατάκα σε κάθε γλώσσα. Αυτή την αποφασίζει το MLDM και καταγράφει κάθε απόφαση μαζί με την εργασία, ώστε η ομάδα σας να μπορεί να αλλάξει οποιαδήποτε. Στα σκαριά: η επιλογή του ποιοι ήχοι μένουν στην πρωτότυπη γλώσσα, ένα σύνθημα ή μια κραυγή, και ποιο πρόσωπο ή κείμενο στην οθόνη θα μεταφραστεί. Οι επιλογές που κάνουν μια μεταγλώττιση καλή, ποιο αστείο πιάνει, ποιος τόνος ταιριάζει, ποιο όνομα μένει, μένουν στους ανθρώπους που έφτιαξαν το έργο.

++
Όλα τα δεδομένα με τα οποία εκπαιδεύσαμε το μοντέλο τα δημιούργησε η ίδια η ομάδα του Familiar.

Είμαστε ένα ακόμα εργαλείο στη δημιουργική διαδικασία.

ΕΡΩΤΗΣΕΙΣ

Είναι το Familiar παραγωγική τεχνητή νοημοσύνη;

Όχι. Το Familiar είναι ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM): αποφασίζει πώς θα τοπικοποιηθεί ό,τι υπάρχει ήδη, χωρίς prompt. Βάζετε το βίντεό σας και βγαίνει η ίδια ερμηνεία σε άλλη γλώσσα. Όλα τα δεδομένα με τα οποία εκπαιδεύσαμε το μοντέλο τα δημιούργησε η ίδια η ομάδα του Familiar. Είμαστε ένα ακόμα εργαλείο στη δημιουργική διαδικασία.

Τι γίνεται με τη μουσική και τα ηχητικά εφέ μου;

Μένουν. Τα γέλια, η μουσική και τα μπάσα, τα ηχητικά εφέ και η ατμόσφαιρα παραμένουν κάτω από τον νέο διάλογο.

Μπορώ να διορθώσω τη μετάφραση;

Ναι. Κάθε βίντεο σταματά σε μια οθόνη ελέγχου, όπου διορθώνετε όποια ατάκα θέλετε απέναντι στο πρωτότυπο πριν από το render.

ΠΑΡΑΠΟΜΠΕΣ

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, ανάγνωση στις 24 Οκτωβρίου 2026
  2. [2]Συχνές ερωτήσεις για το Familiar: Γιατί έχει σημασία το lip sync;
  3. [3]AI lip sync: τι είναι, τι του ξεφεύγει, τι το ξεπερνά
  4. [4]Γιατί το Familiar δεν είναι παραγωγική τεχνητή νοημοσύνη με την παραδοσιακή έννοια
  5. [5]Ένα ακόμα εργαλείο στη δημιουργική διαδικασία

ΠΟΛΥΤΡΟΠΙΚΗ ΜΕΤΑΦΡΑΣΗ

Η Familiar Labs φτιάχνει μεταγλώττιση νέας γενιάς με ένα πολυτροπικό μοντέλο αποφάσεων τοπικοποίησης (MLDM), το πρώτο θεμελιώδες μοντέλο για πολυτροπική μετάφραση: ένα μοντέλο αποφασίζει τι θα τοπικοποιηθεί σε κείμενο, ήχο και εικόνα και σου δείχνει τις επιλογές. Η φωνή και τα χείλη σου, μεταφερμένα σε νέες γλώσσες. Μια ομάδα 8 ατόμων με διδάκτορες, με την υποστήριξη των Samsung, RedBird και Gold House. Η αποστολή μας

Δες το πλήρες benchmark →Μίλα με την ομάδα