АННОТАЦИЯ
Четыре задачи
Спросите, что делает дублированное видео хорошим, и получите длинный список. Он сжимается до четырёх пунктов:
Если провалены первые две, всё остальное уже не важно: неверно переведённая фраза или явно чужой голос сами по себе губят дубляж. Последние две решают, ощущается ли результат как оригинал или как дубляж.
Естественный перевод: новый сценарий, а не перенос
Каждый язык выражает мысль по-своему: слова, идиомы, строй предложения, формы обращения, сама допустимость сказать что-то вслух. Попросите модель «перевести», и она перенесёт предложения из языка A в язык B одно к одному. Люди поступают так же: стоит поставить задачу как переводческую, и она сводится к конвертации предложений.
Переведённый так дубляж понятен, но неверен.
- Японский избегает слишком прямых формулировок; естественную реплику часто приходится перестраивать в косвенную форму, а не смягчать слово за словом.
- Корейский постоянно опускает подлежащее; если переносить английские местоимения в корейский с английской частотой, текст звучит чужим, даже когда каждое слово верно.
- Порядок слов, регистр, формы вежливости и то, о чём культура умалчивает, меняются от языка к языку; перевод не становится хорошим только потому, что уцелел буквальный смысл.
«Хорошо» не укладывается в чек-лист, поэтому мы сжимаем цель до одного предложения: хорошо передать содержание видео на целевом языке. Это измеримо:
от качества перевода опытного профессионала у Familiar, по слепой оценке относительно эталонных правок экспертов
ФРАНЦУЗСКИЙ, КИТАЙСКИЙ, ХИНДИ, ИНДОНЕЗИЙСКИЙ (ПЕРВЫЙ ПРОХОД ОПЫТНЫХ ПРОФЕССИОНАЛЬНЫХ ПЕРЕВОДЧИКОВ)меньше серьёзных ошибок перевода у Familiar на тех же роликах (29 против 64)
ПРОТИВ ELEVENLABS DUBBING V2 (ALPHA) · 111 ПАРНЫХ ДУБЛЯЖЕЙ · 3 ЯЗЫКАЕстественный звук: тот же человек на новом языке
С произношением задача почти решена. Интересные провалы лежат дальше:
- Узнаваемость: один и тот же человек звучит как он сам на каждом языке.
- Эмоция: то, что чувствовал говорящий, переживает смену языка.
- Акценты, темп, намерение: куда клонится фраза, как быстро она движется, чего она добивается.
Цель сжимается так же, как цель перевода: звук совпадает с видео. Не «сгенерировать язык B голосом из языка A». Та же игра на новом языке. И сцена тоже часть звука: смех, музыка, атмосфера помещения.
больше повреждений фонового звука у ElevenLabs (11.92 против 3.22 дБ): музыка, эффекты, атмосфера
ИССЛЕДОВАНИЕ DUBBING V2 (ALPHA) · ТЕ ЖЕ РОЛИКИближе сходство с голосом говорящего у Familiar (0.461 против 0.360), ближе во всех 11 языках
ПРОТИВ ELEVENLABS · ИССЛЕДОВАНИЕ DUBBING V1 · 418 ПАРНЫХ ДУБЛЯЖЕЙ
ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026Editing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
Текст в кадре тоже часть видео
Современное видео опирается на текст в кадре: подписи, шутки, мемы, одно слово точно в бит. Каждый такой элемент становится визуальным событием на языке оригинала. У его адаптации два требования:
- Никогда не портить видео. Артефакты или визуальный шум делают результат хуже оригинала.
- Никогда не переводить буквально. Сначала нужно понять, почему этот текст появляется именно в этот момент и в этом месте, и только потом его адаптировать.
Сегодня мультимодальная модель принятия решений о локализации (MLDM) от Familiar, первая фундаментальная модель для мультимодального перевода, новая парадигма, первая в своём роде, переводит названия, описания и субтитры вместе с дубляжом. Текст внутри кадра в разработке: экран телефона или уличный указатель будут написаны в тех формулировках, которые вы уже выбрали, бренд или имя модель на ходу оставит как снято, так что пачка Tostitos останется Tostitos, а какой текст переводить, выберете вы. Правило остаётся в силе: если правку можно заметить, она недостаточно хороша.
Липсинк: успех в незаметности
К липсинку применимо то же жёсткое требование: никогда не портить видео. Высшая похвала для липсинка в дубляже: вопрос «а что изменилось?»
Этот эффект работает и в пользу дубляжа. Когда рот совпадает, мозг разрешает неоднозначность в сторону согласия: произношение кажется чётче, а тембр больше похожим на того же человека.
Самое трудное: голоса за кадром, говорящие одновременно, люди, похожие внешне или по голосу, и правка рта без разрушения лица. Поставьте в кадр двух человек, и сегодняшние инструменты синхронизируют оба рта сразу.
Губы только начало. Человек произносит фразу всем лицом, глазами, бровями, щеками, головой, и телом: жестами, кивками, полутактом слушания.
Одна задача, а не четыре
Каждое требование сжималось до одного и того же предложения. Естественный перевод: написать то, что говорит это видео, на целевом языке. Естественный звук: сохранить ту же игру в новых словах. Текст в кадре: понять, зачем он там, прежде чем его трогать. Липсинк: изменить человека, не сломав его.
Та же игра на другом языке.
Именно это решает MLDM; замеры на тех же роликах опубликованы на /benchmark. Каждое решение записывается в задачу дубляжа, и его можно изменить; сегодня ваши креативные директора выбирают между вариантами перевода.
ИСТОЧНИКИ
- [1]Бенчмарк Familiar против ElevenLabs: полные результаты, интервалы и примеры для прослушивания
- [2]ИИ против человеческого перевода: тест против профессионалов
- [3]ИИ-липсинк: что это, что он упускает и что его превосходит
- [4]Почему дубляж не убеждает за рубежом и как студии это исправляют (студийная версия этого аргумента)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД
Familiar Labs создаёт дубляж нового поколения на основе мультимодальной модели принятия решений о локализации (MLDM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 8 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия