ПОЯСНЕННЯ

Переклад не є генерацією

FAMILIAR · ДОСЛІДЖЕННЯОНОВЛЕНО ВСІ СТАТТІ
ЧИТАТИ МОВОЮEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

АНОТАЦІЯ

Не «генеративний ШІ», а переклад на допомогу творцям. Генерувати й перекладати означає різне. Генерувати означає взяти промпт і створити те, чого не існувало. Перекладати означає взяти те, що вже існує, гру, і перенести її в іншу мову. Familiar є новою парадигмою, першою у своєму роді: мультимодальною моделлю рішень щодо локалізації (MLDM), першою фундаментальною моделлю для мультимодального перекладу. Актор, таймінг і сцена лишаються; слова, рот і голосова доріжка змінюються під нову мову.
ПЕРША ФУНДАМЕНТАЛЬНА МОДЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНОГО ПЕРЕКЛАДУ

Два дієслова

Генеративний ШІ чудово підходить, щоб створювати нове: на вхід іде промпт, на виході новий контент, і вся суть у тому, що результат новий. Переклад має протилежну мету.

ПерекладІНШЕ ДІЄСЛОВО

На вхід іде гра, а на виході та сама гра іншою мовою.

ГЕНЕРУВАТИ

  • На вході: промпт
  • На виході: новий контент
  • Мірило: наскільки результат новий і добрий

ПЕРЕКЛАДАТИ

  • На вході: готова гра
  • На виході: та сама гра іншою мовою
  • Мірило: наскільки він вірний оригіналу

Будь-якого перекладача, людину чи машину, оцінюють за тим, як мало він вигадує.

Що лишається, що змінюється

Актор
ЗМІНЮЄТЬСЯСлова
Обличчя
ЗМІНЮЄТЬСЯРухи рота
Таймінг
ЗМІНЮЄТЬСЯГолосова доріжка, новою мовою
Звук сцени: сміх, музика, атмосфера
ЗМІНЮЄТЬСЯ

Голос у новій мові належить самому акторові й береться із самого кліпу. Імена та фірмові фрази лишаються точно такими, як їх сказано, завдяки списку «Не перекладати»; жарти переписуються так, щоб спрацювали цільовою мовою.

Чому ліпсинк є частиною перекладу

Люди чують мовлення не лише вухами. В ефекті Мак-Гурка голос, що вимовляє [b], накладений на обличчя, яке вимовляє [g], зазвичай сприймається як [d], звук, якого не було в жодному з каналів (Tiippana, 2014, з описом дослідження McGurk і MacDonald, 1976). Мозок поєднує те, що бачить, із тим, що чує.
ГОЛОС [b] + ОБЛИЧЧЯ [g] = ЧУЄМО [d]

Дубляж, що змінює лише голос, лишає цю розбіжність у кожному кадрі: рот говорить однією мовою, а звукова доріжка іншою, і розуміти стає важче. Тож рот теж є частиною повідомлення. Перекласти гру означає перекласти губи разом зі словами, тому в дубляжі Familiar губи рухаються під нові слова (FAQ, «Чому ліпсинк важливий?»).

Креативні директори перевіряють дубляж до виходу

Деякі репліки можна прочитати по-різному: жарт, шпилька, фраза, що звучить щиро або сухо. Такі репліки повертаються трьома варіантами перекладу з різним задумом і емоцією; так само повертаються сленг, залишений як є, і лайка, пом'якшена у версії для молодшої аудиторії. Команда обирає один варіант, редагує будь-яку репліку поруч з оригіналом і лише тоді запускає рендер.

MLDM бере на себе рутину.

Рутина дубляжу полягає в тому, щоб вирішити, який голос і як рухаються губи, для кожної репліки кожною мовою. MLDM ухвалює ці рішення й зберігає кожне разом із завданням, щоб ваша команда могла змінити будь-яке з них. У розробці: вибір того, які звуки лишаються мовою оригіналу, як-от скандування чи крик, і яке обличчя чи який текст у кадрі перекладати. Рішення, від яких залежить добрий дубляж, який жарт спрацює, який тон пасує, яке ім'я лишиться, залишаються за людьми, які створили твір.

++
Усі дані, на яких ми навчали модель, створила сама команда Familiar.

Ми ще один інструмент у творчому процесі.

ЗАПИТАННЯ

Чи є Familiar генеративним ШІ?

Ні. Familiar є мультимодальною моделлю рішень щодо локалізації (MLDM): вона вирішує, як локалізувати те, що вже є, без промпту. Ви надсилаєте відео, а та сама гра виходить іншою мовою. Усі дані, на яких ми навчали модель, створила сама команда Familiar. Ми ще один інструмент у творчому процесі.

Що буде з моєю музикою та звуковими ефектами?

Вони лишаються. Сміх, музика й баси, звукові ефекти та атмосфера зберігаються під новим діалогом.

Чи можна виправити переклад?

Так. Кожне відео зупиняється на екрані перевірки, де ви редагуєте будь-яку репліку поруч з оригіналом до рендеру.

ДЖЕРЕЛА

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, переглянуто 24 жовтня 2026
  2. [2]FAQ Familiar: Чому ліпсинк важливий?
  3. [3]ШІ-ліпсинк: що це, що він пропускає і що його перевершує
  4. [4]Чому Familiar не є генеративним ШІ в традиційному розумінні
  5. [5]Ще один інструмент у творчому процесі

Мультимодальний переклад

Familiar Labs створює дубляж нового покоління за допомогою мультимодальної моделі рішень щодо локалізації (MLDM), першої фундаментальної моделі для мультимодального перекладу: одна модель вирішує, що локалізувати в тексті, звуці та зображенні, і показує вам варіанти. Ваш голос і губи, перенесені в нові мови. Команда з 8 людей зі ступенями PhD, за підтримки Samsung, RedBird та Gold House. Наша місія

Переглянути повний бенчмарк →Зв'язатися з командою