ОБЪЯСНЕНИЕ

Перевод не генерация

FAMILIAR ИССЛЕДОВАНИЯОБНОВЛЕНО ВСЕ СТАТЬИ

АННОТАЦИЯ

Не «генеративный ИИ», а перевод в помощь творцам. Генерация и перевод обозначают разные действия. Генерация берёт промпт и создаёт то, чего не существовало. Перевод берёт то, что уже существует, то есть игру, и переносит её на другой язык. Familiar построен на новой парадигме, первой в своём роде: это мультимодальная модель принятия решений о локализации (MLDM), первая фундаментальная модель для мультимодального перевода. Актёр, тайминг и сцена остаются; слова, движения губ и голосовая дорожка меняются под новый язык.
ПЕРВАЯ ФУНДАМЕНТАЛЬНАЯ МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕВОДА

Два глагола

Генеративный ИИ хорош для создания нового: на входе промпт, на выходе новый контент, и вся суть в том, что результат новый. У перевода цель обратная.

ПереводДРУГОЙ ГЛАГОЛ

На входе игра, на выходе та же игра на другом языке.

ГЕНЕРИРОВАТЬ

  • На входе: промпт
  • На выходе: новый контент
  • Мерило: насколько результат нов и хорош

ПЕРЕВОДИТЬ

  • На входе: готовая игра
  • На выходе: та же игра на другом языке
  • Мерило: насколько точно сохранён оригинал

Любого переводчика, человека или машину, судят по тому, как мало он выдумывает.

Что остаётся, что меняется

Актёр
МЕНЯЕТСЯСлова
Лицо
МЕНЯЕТСЯДвижения губ
Тайминг
МЕНЯЕТСЯГолосовая дорожка, на новом языке
Звук сцены: смех, музыка, атмосфера
МЕНЯЕТСЯ

Голос на новом языке остаётся собственным голосом актёра и берётся из самого ролика. Имена и коронные фразы благодаря списку «Не переводить» звучат ровно так, как были сказаны; шутки переписываются так, чтобы сработать на целевом языке.

Почему липсинк входит в перевод

Речь мы воспринимаем не только ушами. При эффекте Мак-Гурка голос, произносящий [b], наложенный на лицо, произносящее [g], обычно слышится как [d], то есть звук, которого не было ни в одном из каналов (Tiippana, 2014, с описанием работы McGurk и MacDonald, 1976). Мозг сводит увиденное и услышанное воедино.
ГОЛОС [b] + ЛИЦО [g] = СЛЫШИМ [d]

Дубляж только голосом оставляет это расхождение в каждом кадре: рот говорит на одном языке, звуковая дорожка на другом, и понимать речь становится труднее. Поэтому рот становится частью сообщения. Перевести игру значит перевести губы вместе со словами, и поэтому в дубляже Familiar губы движутся под новые слова (FAQ, «Зачем нужен липсинк?»).

Креативные директора проверяют всё до выхода

Некоторые реплики можно передать по-разному: шутку, колкость, фразу, которая звучит искренне или сухо. Такие реплики возвращаются тремя вариантами перевода с разным посылом и эмоцией; так же решаются сленг, оставленный как есть, и ненормативная лексика, смягчённая для более юной аудитории. Команда выбирает вариант, правит любую реплику, сверяясь с оригиналом, и только потом запускает рендер.

MLDM берёт на себя рутину.

Рутина дубляжа состоит в решениях: какой голос и как следуют губы, для каждой реплики на каждом языке. Их принимает MLDM, а каждое решение записывается в задачу дубляжа, чтобы ваша команда могла изменить любое из них. В разработке выбор того, какие звуки останутся на языке оригинала, будь то кричалка или крик, и какое лицо или какой текст в кадре переводить. Решения, от которых зависит хороший дубляж, то есть какая шутка сработает, какой тон подойдёт, какое имя останется, остаются за людьми, которые создали работу.

++
Все данные, на которых мы обучали модель, создала сама команда Familiar.

Мы ещё один инструмент в творческом процессе.

ВОПРОСЫ

Является ли Familiar генеративным ИИ?

Нет. Familiar работает как мультимодальная модель принятия решений о локализации (MLDM): она решает, как локализовать то, что уже есть, без всякого промпта. На входе ваше видео, на выходе та же игра на другом языке. Все данные, на которых мы обучали модель, создала сама команда Familiar. Мы ещё один инструмент в творческом процессе.

Что будет с музыкой и звуковыми эффектами?

Они остаются. Смех, музыка и бас, звуковые эффекты и атмосфера сохраняются под новыми диалогами.

Можно ли исправить перевод?

Да. Каждое видео останавливается на экране проверки, где вы правите любую реплику, сверяясь с оригиналом, до того как начнётся рендер.

ИСТОЧНИКИ

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, прочитано 24 октября 2026
  2. [2]FAQ Familiar: Зачем нужен липсинк?
  3. [3]ИИ-липсинк: что это, что он упускает и что его превосходит
  4. [4]Почему Familiar не традиционный генеративный ИИ
  5. [5]Ещё один инструмент в творческом процессе

МУЛЬТИМОДАЛЬНЫЙ ПЕРЕВОД

Familiar Labs создаёт дубляж нового поколения на основе мультимодальной модели принятия решений о локализации (MLDM). Это первая фундаментальная модель для мультимодального перевода: одна модель решает, что локализовать в тексте, аудио и видео, и показывает вам варианты. Ваш голос и губы, перенесённые на новые языки. В команде 8 человек с PhD; их поддерживают Samsung, RedBird и Gold House. Наша миссия