ТҮСІНДІРМЕ

Аударма генерация емес

FAMILIAR ЗЕРТТЕУЖАҢАРТЫЛҒАН БАРЛЫҚ МАҚАЛАЛАР

АҢДАТПА

«Генеративті ЖИ» емес, шығармашыл адамдарға жол ашатын аударма. Генерация мен аударма екі бөлек етістік. Генерациялау промпт алып, бұрын болмаған нәрсе жасайды. Аудару бұрыннан бар нәрсені, яғни орындауды алып, оны басқа тілге жеткізеді. Familiar жаңа парадигма, баламасы жоқ тұңғыш тәсіл: мультимодальды локализациядағы шешім қабылдау моделі (MLDM), мультимодальды аудармадағы тұңғыш іргелі модель. Актер, тайминг және көрініс сақталады; сөздер, ауыз қимылы мен дауыс жолы жаңа тілге сай өзгереді.
МУЛЬТИМОДАЛЬДЫ АУДАРМАДАҒЫ ТҰҢҒЫШ ІРГЕЛІ МОДЕЛЬ

Екі етістік

Генеративті ЖИ жаңа нәрсе жасауға жақсы құрал: промпт кіреді, жаңа контент шығады, ал бар мәні нәтиженің жаңа болуында. Аударманың мақсаты мүлде керісінше.

АудармаЕКІНШІ ЕТІСТІК

Орындау кіреді, ал басқа тілде сол бір орындау шығады.

ГЕНЕРАЦИЯЛАУ

  • Кіреді: промпт
  • Шығады: жаңа контент
  • Өлшемі: нәтиже қаншалықты жаңа әрі жақсы

АУДАРУ

  • Кіреді: дайын орындау
  • Шығады: басқа тілдегі сол бір орындау
  • Өлшемі: түпнұсқаға қаншалықты адал қалады

Кез келген аудармашы, адам болсын, машина болсын, ойдан қаншалықты аз қосатынына қарай бағаланады.

Не сақталады, не өзгереді

Актер
ӨЗГЕРЕДІСөздер
Бет-әлпет
ӨЗГЕРЕДІАуыз қимылы
Тайминг
ӨЗГЕРЕДІЖаңа тілдегі дауыс жолы
Көрініс дыбысы: күлкі, музыка, атмосфера
ӨЗГЕРЕДІ

Жаңа тілдегі дауыс актердің өз дауысы, ол клиптің өзінен алынады. Есімдер мен сүйікті тіркестер «Аудармау» тізімі арқылы дәл айтылған күйінде қалады; әзілдер мақсатты тілде дәл түсетіндей қайта жазылады.

Липсинк неге аударманың бөлігі

Адам сөзді тек құлақпен естімейді. Мак-Гурк эффектісінде [g] деп тұрған бетке дубляждалған [b] деген дауыс, әдетте, [d] болып естіледі, ал бұл дыбысты ешбір арна жеткізбеген (Tiippana, 2014, McGurk пен MacDonald-тың 1976 жылғы жұмысы сипатталады). Ми көргенін естігенімен біріктіреді.
ДАУЫС [b] + БЕТ [g] = ЕСТІЛЕТІНІ [d]

Тек дауысты дубляж сол сәйкессіздікті әр кадрда қалдырады: ауыз бір тілде сөйлейді, дыбыс жолы басқа тілде, сондықтан түсіну қиындайды. Демек ауыз да хабардың бөлігі. Орындауды аудару дегеніміз ерінді сөзбен бірге аудару, сондықтан Familiar дубляжында ерін жаңа сөздерге сай қозғалады (жиі қойылатын сұрақтар, «Липсинк неге маңызды?»).

Креативті директорлар шығарар алдында тексереді

Кейбір реплика бірнеше түрлі естілуі мүмкін: әзіл, шаншу, шынайы не құрғақ естілетін сөз. Мұндай репликалар ниеті мен эмоциясы әртүрлі үш аудармамен қайтады; айтылған күйі қалатын сленг пен жас аудиторияға арналған нұсқада жұмсартылатын балағат та солай. Команда біреуін таңдап, кез келген репликаны түпнұсқамен салыстырып өңдейді де, тек содан кейін рендерді іске қосады.

Іш пыстыратын бөлікті MLDM атқарады.

Дубляждың іш пыстыратын бөлігі әр тілдегі әр реплика үшін қай дауыс керегін және ерін қалай еретінін шешу. Оны MLDM шешеді әрі әр шешімді тапсырмамен бірге сақтайды, сондықтан командаңыз кез келгенін өзгерте алады. Әзірленіп жатыр: түпнұсқа тілде қай дыбыстар, мысалы, ұран не айқай қалатынын, қай бет-әлпетті не экрандағы қай мәтінді аудару керегін таңдау. Дубляжды жақсы ететін таңдаулар, яғни қай әзіл жетеді, қай үн жарасады, қай есім өзгермейді, туындыны жасаған адамдарда қалады.

++
Оқытуға қолданған деректеріміздің бәрін Familiar командасы өзі жасаған.

Біз шығармашылық процестегі тағы бір құралмыз.

СҰРАҚТАР

Familiar генеративті ЖИ ме?

Жоқ. Familiar дегеніміз мультимодальды локализациядағы шешім қабылдау моделі (MLDM): ол бар нәрсені промптсыз қалай локализациялау керегін шешеді. Бейнеңіз кіреді, басқа тілде сол бір орындау шығады. Оқытуға қолданған деректеріміздің бәрін Familiar командасы өзі жасаған. Біз шығармашылық процестегі тағы бір құралмыз.

Музыка мен дыбыс эффектілеріне не болады?

Олар сақталады. Күлкі, музыка мен бас, дыбыс эффектілері және атмосфера жаңа диалогтың астында қалады.

Аударманы түзете аламын ба?

Иә. Әр бейне тексеру экранында тоқтайды, онда рендерден бұрын кез келген репликаны түпнұсқамен салыстырып өңдейсіз.

ДЕРЕККӨЗДЕР

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, 2026 жылғы 24 қазанда оқылды
  2. [2]Familiar: жиі қойылатын сұрақтар, «Липсинк неге маңызды?»
  3. [3]ЖИ-липсинк: ол не, нені жіберіп алады, одан не озады
  4. [4]Familiar неге дәстүрлі генеративті ЖИ емес
  5. [5]Шығармашылық процестегі тағы бір құрал

МУЛЬТИМОДАЛЬДЫ АУДАРМА

Familiar Labs мультимодальды локализациядағы шешім қабылдау моделі (MLDM) арқылы жаңа буын дубляжын жасайды. Бұл мультимодальды аудармадағы тұңғыш іргелі модель: ол мәтінде, дыбыста және бейнеде нені локализациялау керегін шешеді және таңдауларды сізге көрсетеді. Дауысыңыз бен ерін қимылыңыз жаңа тілдерге көшеді. Командада 8 адам, арасында PhD-лер бар; инвесторлары: Samsung, RedBird, Gold House. Біздің миссиямыз