ОБЈАШЊЕЊЕ

Превод није генерисање

FAMILIAR ИСТРАЖИВАЊААЖУРИРАНО СВИ ЧЛАНЦИ
ЈЕЗИК ЧЛАНКАEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

САЖЕТАК

Није „генеративни AI“, већ превод у служби стваралаца. Генерисање и превођење су различити глаголи. Генерисање полази од промпта и прави нешто што није постојало. Превођење полази од нечега што већ постоји, од изведбе, и преноси је на други језик. Familiar је нова парадигма, прва те врсте: мултимодални модел одлучивања о локализацији (MLDM), први фундаментални модел за мултимодални превод. Глумац, тајминг и сцена остају; речи, уста и гласовна трака се мењају да одговарају новом језику.
ПРВИ ФУНДАМЕНТАЛНИ МОДЕЛ ЗА МУЛТИМОДАЛНИ ПРЕВОД

Два глагола

Генеративни AI је добар за прављење нових ствари: промпт улази, нови садржај излази, а поента је у томе да је резултат нов. Превод има супротан циљ.

ПреводДРУГИ ГЛАГОЛ

Изведба улази, а иста изведба излази на другом језику.

ГЕНЕРИСАТИ

  • Улаз: промпт
  • Излаз: нови садржај
  • Мери се: колико је резултат нов и добар

ПРЕВЕСТИ

  • Улаз: готова изведба
  • Излаз: иста изведба на другом језику
  • Мери се: колико остаје верна оригиналу

Сваки преводилац, човек или машина, оцењује се по томе колико мало измишља.

Шта остаје, шта се мења

Глумац
МЕЊА СЕРечи
Лице
МЕЊА СЕПокрети уста
Тајминг
МЕЊА СЕГласовна трака, на новом језику
Звук сцене: смех, музика, амбијент
МЕЊА СЕ

Глас на новом језику је глумчев сопствени, узет из самог снимка. Имена и узречице остају тачно онакви какви су изговорени, захваљујући листи Не преводити; шале се преписују тако да погоде на циљном језику.

Зашто је синхронизација усана део превода

Говор не чујемо само ушима. У Мекгурковом ефекту глас који изговара [b], синхронизован преко лица које изговара [g], обично се чује као [d], звук који ниједан од два канала није носио (Tiippana, 2014, према опису McGurk и MacDonald, 1976). Мозак спаја оно што види са оним што чује.
ГЛАС [b] + ЛИЦЕ [g] = ЧУЈЕ СЕ [d]

Синхронизација само гласа оставља тај несклад у сваком кадру: уста говоре један језик, а звучна трака други, па се разумевање отежава. Тиме уста постају део поруке. Превести изведбу значи превести усне заједно са речима, и зато Familiar синхронизација помера усне у складу са новим речима (FAQ, „Зашто је синхронизација усана важна?“).

Креативни директори прегледају пре објаве

Неке реплике могу да се схвате на више начина: шала, жаока, реченица која звучи искрено или сувопарно. Оне се враћају у три варијанте превода, са различитом намером и емоцијом; исто важи за сленг задржан онако како је изговорен и псовке ублажене за верзију за млађу публику. Тим бира једну, мења било коју реплику у односу на оригинал и тек онда покреће рендеровање.

MLDM за заморни део посла.

Заморни део синхронизације је одлука о гласу и о томе како усне прате речи, за сваку реплику на сваком језику. MLDM о томе одлучује и бележи сваку одлуку уз задатак, па ваш тим може да преиначи било коју. У припреми: избор звукова који остају на изворном језику, као што су скандирање или повик, и избор лица или текста на екрану који треба превести. Избори од којих зависи добра синхронизација, која шала пролази, који тон пристаје, које име остаје, остају код људи који су дело створили.

++
Све податке на којима смо обучили модел направио је сам Familiar тим.

Ми смо још један алат у креативном процесу.

ПИТАЊА

Да ли је Familiar генеративни AI?

Не. Familiar је мултимодални модел одлучивања о локализацији (MLDM): одлучује како да локализује оно што већ постоји, без промпта. Ваш видео улази, иста изведба излази на другом језику. Све податке на којима смо обучили модел направио је сам Familiar тим. Ми смо још један алат у креативном процесу.

Шта се дешава са мојом музиком и звучним ефектима?

Остају. Смех, музика и бас, звучни ефекти и амбијент преживљавају испод новог дијалога.

Могу ли да исправим превод?

Да. Сваки видео се зауставља на екрану за преглед, где мењате било коју реплику у односу на оригинал пре рендеровања.

ИЗВОРИ

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, прочитано 24. октобра 2026.
  2. [2]Familiar FAQ: Зашто је синхронизација усана важна?
  3. [3]AI синхронизација усана: шта је, шта промаши, шта је боље
  4. [4]Зашто Familiar није традиционални генеративни AI
  5. [5]Још један алат у креативном процесу

Мултимодални превод

Familiar Labs развија генерацијски бољу синхронизацију помоћу мултимодалног модела одлучивања о локализацији (MLDM), првог фундаменталног модела за мултимодални превод: један модел одлучује шта локализовати у тексту, звуку и слици и показује вам изборе. Ваш глас и ваше усне, пренети на нове језике. Тим од 8 са докторима наука. Подржавају их Samsung, RedBird и Gold House. Наша мисија

Погледајте цео бенчмарк →Разговарајте са тимом