Аўдыявізуальны пераклад адразу, а не каскадам

01. Што такое эпоха каскадаў у машынным дубляжы?

Машынны дубляж пачынаўся як каскад: чатыры інструменты запар, кожны пабудаваны і наладжаны асобна, і кожны перадае свой вынік наступнаму.

1. 01

   Транскрыпцыя.

   Распазнаванне маўлення запісвае, што было сказана.
2. 02

   Пераклад.

   Тэкставая мадэль перакладае транскрыпт на новую мову, не чуючы голасу і не бачачы твару.
3. 03

   Голас.

   Сінтэз маўлення агучвае пераклад, часта чужым голасам.
4. 04

   Ліпсінк.

   Асобны інструмент падганяе рот пад новы гук, калі кожнае слова ўжо зафіксаванае.

Гэты ланцуг зрабіў машынны дубляж магчымым. Яго мяжа закладзена ў самой будове: кожны этап гадае, не ведаючы пра астатнія. Пераклад не можа ведаць, што рэпліка павінна легчы на закрыты рот. Голас не можа ведаць, у якім памяшканні ён гучыць. Недачутае слова ці задоўгая рэпліка перадаюцца далей, і памылка накопліваецца на кожным наступным этапе.

З гадамі кожны інструмент паляпшаўся: чысцейшы транскрыпт, дакладнейшы пераклад, больш натуральны голас. Гатовы дубляж паляпшаўся павольней, бо швы паміж інструментамі заставаліся на сваіх месцах.

02. З чым сутыкаецца пакупнік сёння?

На практыцы каскад прыходзіць як набор інструментаў: транскрыпт з аднаго, пераклад з другога, голас з трэцяга, ліпсінк і субцітры з чацвёртага. Каб выправіць адну рэпліку, трэба зноў прагнаць усе наступныя этапы, а нехта з вашай каманды трымае ўсе файлы разам. Інструменты, што абыходзяць гэты набор, мяняюць якасць на час. Дапаможныя інструменты дасягаюць якасці з камандай VFX-мастакоў на складаных кадрах: тыдні на кожны праект, і кожная мова становіцца новым праектам. Інструменты за адзін праход хуткія і ахвяруюць усім астатнім: голас губляе падабенства, атмасфера памяшкання знікае, а губы не спраўляюцца, калі твар закрывае рука ці мікрафон, кадр размыты або з бокэ, зняты збоку ці ў ім некалькі чалавек, бо ў іх няма ні прасторавага мыслення, ні разумення свету. Familiar дае і адзін праход, і якасць.

Іншы шлях: поўны дубляж людзьмі, пераклад і голас, за $70–150 за гатовую хвіліну. Кошт, людзі і час робяць яго недаступным для большай часткі свету: нават буйныя праекты дублююць толькі на некалькі моў, а меншыя праекты, шоу і вертыкальныя драмы ў большасці не дублююць увогуле.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Калі вы разглядаеце ElevenLabs Dubbing, вось цытаты з іх дакументацыі побач з нашым даследаваннем:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Што мяняецца, калі ўсе рашэнні прымае адна мадэль?

Familiar дублюе з дапамогай мультымадальнай мадэлі прыняцця рашэнняў у лакалізацыі (MLDM). MLDM вырашае, што лакалізаваць і як, у тэксце, гуку і карцінцы, і рашэнні ўзгодненыя, бо іх прымае адна мадэль. Азначэнне ў артыкуле Першая фундаментальная мадэль для мультымадальнага перакладу.

Вы атрымліваеце уласную ігру акцёра на іншай мове: яго голас, губы, міміку і гук сцэны, перанесеныя разам. Адна запампоўка выходзіць на ўсіх мовах адразу: дубляж на 30 моў з матэрыялаў на любой з 99 зыходных моў.

Сумеснае рашэнне мяняе і тое, што можа пайсці не так. Рэпліка, якая выйшла б задоўгай, перакладаецца пад час і пад рот яшчэ да таго, як з'явіцца голас. Смех пасярод сказа застаецца смехам. Калі двое гавораць адначасова, мадэль ведае, хто кажа якую рэпліку, таму рухаюцца патрэбныя губы.

04. Што гэта мяняе ў гатовым дубляжы?

Мы прапускаем тыя самыя кліпы праз абедзве сістэмы і ацэньваем іх аднолькава. Кожная лічба ўзятая з уласнага даследавання, апублікаванага на старонцы бенчмарку.

Вымяраецца і голас: у даследаванні, працытаваным вышэй, Familiar гучыць на 27.8% бліжэй да рэальнага моўцы, чым ElevenLabs Dubbing v1, і так на ўсіх 11 мовах.

У аўтаматычнага дубляжу YouTube у яго ўласным даследаванні было на 232.6% больш памылак у фонавым гуку. Сцэна захоўваецца, бо MLDM чуе ўсё на дарожцы (смех, натоўп, музыку), знаходзіць галоўны голас, пераносіць яго ў новую мову ўласным голасам моўцы і пакідае астатняе такім, як было.

05. Што значыць «спачатку пераклад, потым увесь дубляж за адзін праход»?

++

Спачатку пераклад, потым увесь дубляж за адзін праход: голас, губы і сцэна разам.

Парадак важны. Спачатку ідзе пераклад, і яго правяраюць вашы крэатыўныя дырэктары: калі рэпліку можна перадаць па-рознаму, яны бачаць варыянты з абгрунтаваннем кожнага і выбіраюць адзін. Толькі тады робіцца дубляж, адзін раз. Нічога новага не выдумляецца. Не «генератыўны ШІ», а пераклад на службе творцаў. MLDM бярэ на сябе руціну.

Субцітры нарэзаныя паводле канвенцый Timed Text Style Guide ад Netflix, стандарту шаблонаў субцітраў, на які арыентуецца індустрыя. Кожны дубляж апрацоўваецца на ўласным кластары Familiar коштам у дзясяткі мільёнаў долараў з графічных працэсараў NVIDIA B300 у Таронта, у Канадзе, ніколі ў публічным воблаку накшталт Google Cloud ці AWS і ніколі ў старонняга правайдара інферэнсу. Файлы апісаныя ў дакументацыі па выніковых файлах, апрацоўка ў раздзеле прыватны інферэнс, а што гэта азначае для каталога, у артыкуле Што фундаментальная мадэль для мультымадальнага перакладу азначае для студый і платформаў.

06. Хто прымае канчатковае рашэнне?

1. СЁННЯ

   Вашы крэатыўныя дырэктары правяраюць рашэнні па перакладзе.

   Варыянты з абгрунтаваннем кожнага; яны выбіраюць адзін, перш чым нешта выйдзе.
2. СЁННЯ

   Спіс «Не перакладаць» і кантэкст адным сказам ідуць разам з заданнем.

3. У РАСПРАЦОЎЦЫ

   Рашэнні па гуку і карцінцы, на тым самым этапе праверкі.

   Што застаецца на мове арыгінала, іншы твар, калі мадэль памылілася з моўцам, і тэкст у кадры.

Для каталога мяняецца ахоп. Шоу, якое засталося б на адной мове, можа выйсці адразу на 30, з уласнай ігрой акцёраў, а ваша каманда па-ранейшаму прымае кожнае важнае рашэнне.

Гэта і ёсць журнал рашэнняў; падрабязна ў артыкуле Журнал рашэнняў: як крэатыўныя дырэктары кіруюць MLDM, а што вырашае мадэль, у артыкуле Што такое мультымадальная мадэль прыняцця рашэнняў у лакалізацыі (MLDM)? Даследаванні, што за гэтым стаяць, у артыкуле Першапраходцы мультымадальнага перакладу. Ад чалавека да чалавека, да новых гледачоў па ўсім свеце.

ПЫТАННІ