ЗЕРТТЕУ ЖАЗБАСЫ

Бейне аудармасында не маңызды

FAMILIAR ЗЕРТТЕУЖАҢАРТЫЛҒАН БАРЛЫҚ МАҚАЛАЛАР
МАҚАЛА ТІЛІEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

АҢДАТПА

Дубляждың сапасын төрт нәрсе шешеді: аударма мақсатты тілде жазылғандай оқылады, дыбыс әлі де сол спикердікі сияқты естіледі, экрандағы мәтін де жаңа тілге көшеді, ал ерін қимылы сәйкес келеді. Алғашқы екеуі қалғанының бәрін шешеді. Түбінде төртеуі де бір мәселе: басқа тілдегі сол бір орындау.

Төрт мәселе

Дубляждалған бейнені не жақсы етеді деп сұрасаңыз, ұзын тізім аласыз. Ол төртеуге сыйып кетеді:

ТАБИҒИ АУДАРМА
ЖАҚСЫ ДЕГЕНІ НЕБейненің мазмұнын жақсы жеткізетін, мақсатты тілде жазылған жаңа сценарий; сөйлемді сөйлемге көшіру емес.
ТАБИҒИ ДЫБЫС
ЖАҚСЫ ДЕГЕНІ НЕСол адам, сол эмоция, сол екпін, бірақ жаңа тілде.
ЭКРАНДАҒЫ МӘТІН
ЖАҚСЫ ДЕГЕНІ НЕТілге және өзі шыққан сәтке бейімделген, бейнеге зиян келтірмейтін мәтін.
ЛИПСИНК
ЖАҚСЫ ДЕГЕНІ НЕКөзге көрінбейді. Көрермен оның болғанын байқамайды.

Алғашқы екеуі сәтсіз болса, қалғанының мәні жоқ: қате аударылған бір сөйлем немесе бөтен естілетін дауыс дубляжды өздігінен құртады. Соңғы екеуі нәтиженің түпнұсқадай сезілетінін немесе дубляж екені білініп тұратынын шешеді.

Табиғи аударма: көшірме емес, жаңа сценарий

Әр тіл ойды өзінше жеткізеді: сөздер, идиомалар, сөйлем құрылымы, сыпайылық формалары, тіпті не айтылатыны мен не айтылмайтыны да әртүрлі. Модельге «аудар» десеңіз, ол A тіліндегі сөйлемдерді B тіліне бірме-бір көшіреді. Адамдар да солай істейді: міндет аудармашы ретінде қойылса, жұмыс сөйлемдерді түрлендіруге айналады.

Осылай аударылған дубляж түсінікті, бірақ дұрыс емес.

Көрерменге мақсатты тілде жазылған, бейненің мазмұнын жақсы жеткізетін жаңа сценарий керек.
  • Жапон тілі тым тура сөйлеуден қашады; табиғи реплика көбіне сөзбе-сөз жұмсартылмай, жанама түрде қайта құрылуы керек.
  • Корей тілі бастауышты үнемі түсіріп тастайды; ағылшын есімдіктерін корей тіліне ағылшын жиілігімен көшірсеңіз, әр сөз дұрыс болса да, мәтін бөтен оқылады.
  • Сөз тәртібі, стиль, құрмет формалары және мәдениет айтпай қалдыратын нәрселер әр тілде өзгереді; сөзбе-сөз мағына сақталды деп аударма жақсы бола қалмайды.

«Жақсы» дегенді тізіммен тексеру қиын, сондықтан мақсатты бір сөйлемге сыйғызамыз: бейненің мазмұнын мақсатты тілде жақсы жеткізу. Мұны өлшеуге болады:

100.3%

Familiar аудармасы тәжірибелі адам аудармасы сапасымен салыстырғанда, эксперттердің эталон редакцияларымен жасырын бағаланды

ФРАНЦУЗ, ҚЫТАЙ, ХИНДИ, ИНДОНЕЗИЯ ТІЛДЕРІ (ТӘЖІРИБЕЛІ КӘСІБИ АУДАРМАШЫЛАРДЫҢ БІРІНШІ НҰСҚАСЫ)
54.7%

Familiar сол клиптерде маңызды аударма қателерін азырақ жасады (29 vs 64)

VS ELEVENLABS DUBBING V2 (ALPHA) · 111 ЖҰПТЫҚ ДУБЛЯЖ · 3 ТІЛ

Табиғи дыбыс: сол адам, жаңа тілде

Айтылым мәселесі шешілуге жақын. Қызықты қателер одан әрі басталады:

  • Тұлға: сол адам кез келген тілде сол адам болып естіледі.
  • Эмоция: спикердің сезімі тіл ауысқанда да сақталады.
  • Екпін, қарқын, ниет: сөйлем қай жерге салмақ түсіреді, қаншалықты жылдам жүреді, не істегісі келеді.

Мақсат аудармадағыдай қысқарады: дыбыс бейнеге сәйкес келеді. «A тіліндегі дауыспен B тілін жасау» емес. Сол бір орындау, жаңа тілде. Ал көрініс те дыбыстың бір бөлігі: күлкі, музыка, бөлме атмосферасы.

270%

ElevenLabs фондық дыбысты көбірек бұзды (11.92 vs 3.22 dB): музыка, эффектілер, атмосфера

DUBBING V2 (ALPHA) ЗЕРТТЕУІ · СОЛ КЛИПТЕР
+27.8%

Familiar дауысы нақты спикерге ұқсасырақ (0.461 vs 0.360); 11 тілдің бәрінде жақынырақ

VS ELEVENLABS · DUBBING V1 ЗЕРТТЕУІ · 418 ЖҰПТЫҚ ДУБЛЯЖ
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

Экрандағы мәтін бейненің бір бөлігі

Қазіргі бейне экрандағы мәтінге көп сүйенеді: жазулар, әзілдер, мемдер, ырғаққа дәл түскен жалғыз сөз. Әрқайсысы бастапқы тілдегі визуалды оқиға. Оны бейімдеудің екі талабы бар:

  • Бейнеге ешқашан зиян келтірмеу. Артефактілер мен көзді алаңдататын нәрселер нәтижені түпнұсқадан нашар етеді.
  • Ешқашан сөзбе-сөз аудармау. Бұл мәтіннің дәл осы сәтте, дәл осы жерде неге пайда болғанын түсінбейінше, оны бейімдей алмайсыз.

Бүгін Familiar-дың мультимодальды локализациядағы шешім қабылдау моделі (MLDM), мультимодальды аудармадағы тұңғыш іргелі модель, жаңа парадигма, баламасы жоқ тұңғыш модель, дубляжбен бірге атауларды, сипаттамаларды және субтитрлерді аударады. Кадр ішіндегі мәтін әзірленіп жатыр: телефон экраны не көше тақтасы сіз бұрын таңдаған терминдермен жазылады, бренд пен есімді модель сол сәтте түсірілген күйінде қалдырады, сондықтан Tostitos пакеті Tostitos болып қалады, ал қай мәтінді аудару керегін сіз таңдайсыз. Ереже өзгермейді: өзгеріс байқалса, ол жеткіліксіз.

МУЛЬТИМОДАЛЬДЫ АУДАРМАДАҒЫ ТҰҢҒЫШ ІРГЕЛІ МОДЕЛЬ

Липсинк: байқалмай қалу арқылы табысқа жету

Липсинкке де сол қатаң талап қойылады: бейнеге ешқашан зиян келтірмеу. Дубляждың липсинкі алатын ең жоғары баға мынадай сұрақ: «не өзгерді?»

Ол төртеуінің ішіндегі ең маңызсызы сияқты көрінеді; дайын нәтижеде мүлде керісінше. Адамдар көзімен де тыңдайды: бір дыбыс ауыздың әртүрлі қимылымен әртүрлі естіледі, бұл МакГурк әсері. Сәйкес келмейтін ауыз дубляждалған бейненің көрерменге атын атай алмайтын жайсыздық сыйлауының бір себебі.
McGURK & MacDONALD, «HEARING LIPS AND SEEING VOICES», NATURE 264 (1976)

Бұл әсер дубляждың пайдасына да жұмыс істейді. Ауыз сәйкес келген соң, ми екіұштылықты келісімге қарай шешеді: айтылым анығырақ, ал тембр сол адамдікіне көбірек ұқсап естіледі.

Қиын тұстары: кадр сыртындағы дауыстар, бір мезетте сөйлеген спикерлер, келбеті не дауысы ұқсас адамдар, бетті бұзбай ауызды өзгерту. Экранға екі адамды шығарсаңыз, бүгінгі құралдар екеуінің де ернін бірден қозғалтады.

Ерін тек бастамасы. Адам сөйлемді бүкіл бетімен, яғни көзімен, қасымен, ұртымен, басымен, және денесімен орындайды: ым-ишара, бас изеу, тыңдап тұрғандағы жарты сәттік үзіліс.

Төрт емес, бір мәселе

Әр талап сол бір сөйлемге келіп тірелді. Табиғи аударма: бұл бейненің айтқанын мақсатты тілде жазу. Табиғи дыбыс: жаңа сөздерде сол бір орындауды сақтау. Экрандағы мәтін: оған тиіспес бұрын оның неге тұрғанын білу. Липсинк: адамды бұзбай өзгерту.

Басқа тілдегі сол бір орындау.

MLDM дәл осыны шешеді, сол клиптерде өлшеніп, /benchmark бетінде жарияланған. Әр шешім тапсырмамен бірге сақталады және оны өзгертуге болады; бүгін креативті директорларыңыз аударма нұсқаларының бірін таңдайды.

ДЕРЕККӨЗДЕР

  1. [1]Familiar және ElevenLabs бенчмаркі: толық нәтижелер, интервалдар және тыңдау мысалдары
  2. [2]ЖИ аудармасы және адам аудармасы: кәсіпқойлармен салыстырып тестіленді
  3. [3]ЖИ-липсинк: ол не, нені жіберіп алады, одан не озады
  4. [4]Дубляж шетелде неге бөтен сезіледі: студиялар оны қалай түзейді (осы дәлелдің студиялық нұсқасы)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

МУЛЬТИМОДАЛЬДЫ АУДАРМА

Familiar Labs мультимодальды локализациядағы шешім қабылдау моделі (MLDM) арқылы жаңа буын дубляжын жасайды. Бұл мультимодальды аудармадағы тұңғыш іргелі модель: ол мәтінде, дыбыста және бейнеде нені локализациялау керегін шешеді және таңдауларды сізге көрсетеді. Дауысыңыз бен ерін қимылыңыз жаңа тілдерге көшеді. Командада 8 адам, арасында PhD-лер бар; инвесторлары: Samsung, RedBird, Gold House. Біздің миссиямыз

Толық бенчмаркты қарау →Командамен сөйлесу