ОБЯСНЕНИЕ

Преводът не е генериране

FAMILIAR ИЗСЛЕДВАНИЯОБНОВЕНО ВСИЧКИ СТАТИИ
ПРОЧЕТЕТЕ НАEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

РЕЗЮМЕ

Не е „генеративен изкуствен интелект“, а превод в помощ на творците. Генерирането и преводът са различни глаголи. Генерирането взима промпт и създава нещо, което не е съществувало. Преводът взима нещо, което вече съществува, едно изпълнение, и го пренася на друг език. Familiar е нова парадигма, първата по рода си: мултимодален модел за вземане на решения при локализация (MLDM), първият фундаментален модел за мултимодален превод. Актьорът, ритъмът и сцената остават; думите, устата и гласовата пътечка се променят, за да паснат на новия език.
ПЪРВИЯТ ФУНДАМЕНТАЛЕН МОДЕЛ ЗА МУЛТИМОДАЛЕН ПРЕВОД

Два глагола

Генеративният изкуствен интелект е чудесен за създаване на нови неща: влиза промпт, излиза ново съдържание, и смисълът е именно в това резултатът да е нов. Преводът има обратната цел.

ПреводДРУГИЯТ ГЛАГОЛ

Влиза едно изпълнение, а излиза същото изпълнение на друг език.

ГЕНЕРИРАНЕ

  • Вход: промпт
  • Изход: ново съдържание
  • Мярка: колко нов и добър е резултатът

ПРЕВОД

  • Вход: готово изпълнение
  • Изход: същото изпълнение на друг език
  • Мярка: колко вярно остава на оригинала

Всеки преводач, човек или машина, се съди по това колко малко измисля.

Какво остава и какво се променя

Актьорът
ПРОМЕНЯ СЕДумите
Лицето
ПРОМЕНЯ СЕДвиженията на устата
Ритъмът
ПРОМЕНЯ СЕГласовата пътечка, на новия език
Звукът на сцената: смях, музика, атмосфера
ПРОМЕНЯ СЕ

Гласът на новия език е собственият глас на актьора, взет от самия клип. Имената и характерните фрази остават точно както са казани чрез списък „Не превеждай“; шегите се пренаписват така, че да сработят на целевия език.

Защо липсинкът е част от превода

Хората не чуват речта само с ушите си. При ефекта на Макгърк глас, който казва [b], дублиран върху лице, което казва [g], обикновено се чува като [d], звук, който не е носил нито един от двата канала (Tiippana, 2014, по описанието на McGurk и MacDonald, 1976). Мозъкът слива видяното с чутото.
ГЛАС [b] + ЛИЦЕ [g] = ЧУВА СЕ [d]

Дублаж само на гласа оставя това разминаване във всеки кадър: устата говори на един език, а пътечката на друг, и разбирането става по-трудно. Затова устата е част от посланието. Да преведеш едно изпълнение значи да преведеш устните заедно с думите и затова при дублаж на Familiar устните се движат с новите думи (често задавани въпроси, „Защо липсинкът има значение?“).

Творческите директори преглеждат, преди нещо да излезе

Някои реплики могат да прозвучат по повече от един начин: шега, заядлива забележка, реплика, която звучи искрено или сухо. Те се връщат в три варианта на превода с различно намерение и емоция; същото важи за жаргона, оставен, както е казан, и за ругатните, смекчени за версия за по-млада публика. Екипът избира един, редактира всяка реплика спрямо оригинала и едва тогава пуска рендера.

MLDM за досадната част.

Досадната част от дублажа е да се реши кой глас и как да го последват устните, за всяка реплика на всеки език. MLDM решава това и записва всяко решение към задачата, така че екипът ви да може да промени всяко от тях. В разработка: изборът кои звуци да останат на оригиналния език, скандиране или вик, и чие лице или кой текст на екрана да се преведе. Изборите, които правят един дублаж добър, коя шега сработва, кой тон пасва, кое име остава, остават в ръцете на хората, създали произведението.

++
Всички данни, с които обучихме модела си, са създадени от самия екип на Familiar.

Ние сме още един инструмент в творческия процес.

ВЪПРОСИ

Familiar генеративен изкуствен интелект ли е?

Не. Familiar е мултимодален модел за вземане на решения при локализация (MLDM): той решава как да се локализира онова, което вече е там, без промпт. Видеото ви влиза, а излиза същото изпълнение на друг език. Всички данни, с които обучихме модела си, са създадени от самия екип на Familiar. Ние сме още един инструмент в творческия процес.

Какво става с музиката и звуковите ми ефекти?

Остават. Смехът, музиката и басът, звуковите ефекти и атмосферата се запазват под новия диалог.

Мога ли да поправя превода?

Да. Всяко видео спира на екран за преглед, където редактирате всяка реплика спрямо оригинала, преди да се рендерира.

ИЗТОЧНИЦИ

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, прочетено на 24 октомври 2026
  2. [2]Често задавани въпроси за Familiar: Защо липсинкът има значение?
  3. [3]AI липсинк: какво е, какво пропуска, какво го превъзхожда
  4. [4]Защо Familiar не е традиционен генеративен изкуствен интелект
  5. [5]Още един инструмент в творческия процес

Мултимодален превод

Familiar Labs създава дублаж от ново поколение с мултимодален модел за вземане на решения при локализация (MLDM), първия фундаментален модел за мултимодален превод: един модел решава какво да се локализира в текста, звука и картината и ви показва вариантите. Вашият глас и устни, пренесени на нови езици. Екип от 8 души с PhD, с подкрепата на Samsung, RedBird и Gold House. Нашата мисия

Вижте пълния бенчмарк →Свържете се с екипа