Първият фундаментален модел за мултимодален превод

01. Какво е фундаментален модел за мултимодален превод?

Едно видео казва повече от думите си. Гласът на говорещия, движението на устата му, смехът в помещението и музиката под сцената носят смисъл. Добрият превод на видео пренася всичко това и го държи в съгласие: репликата трябва да пасне на устата, гласът трябва да стои в сцената, а човекът на екрана трябва да остане точно такъв, какъвто е.

Фундаменталният модел за мултимодален превод е един модел, който върши цялата тази работа. Той приема материала като едно цяло и решава как всяка част да прозвучи на новия език. Familiar създаде първия такъв модел и го нарича MLDM.

02. Защо досега дублажът минаваше през отделни инструменти?

Човешкият дублаж винаги е бил недостъпен за по-голямата част от света. Дори най-големите продукции дублират само на няколко езика заради цената, хората и времето; по-малките продукции, предаванията и вертикалните драми изобщо не се дублират. Пълен човешки дублаж, превод плюс глас, струва от $70 до $150 за готова минута.

03. Какво се променя, когато един модел пренася всичко наведнъж?

++

Аудиовизуален превод наведнъж, а не поетапно: първият по рода си.

Изпълнението на същия актьор остава: собственият му глас, устните му, които следват новите думи, мимиката му и звукът на сцената около него. Смехът, тълпата и музиката остават, както са били. На същите клипове YouTube имаше с 232.6% повече грешки във фоновия звук от Familiar. Само по думите преводът се равнява на първата версия на експертен професионалист: 100.3% от неговото качество. Пълните цифри са в бенчмарка.

Променя се и работата около дублажа. Пътят към високо качество днес е помощният: екип от VFX артисти работи кадър по кадър седмици наред, а всеки език е нов проект. Днешните инструменти, които дублират с един замах, са бързи и жертват всичко останало: преводът не може да се редактира, музиката и звукът на помещението изчезват, а устните се провалят в обикновените кадри, при ръка пред лицето, микрофон, размазване, боке, кадър в профил, няколко души в кадър. Без пространствено мислене и без разбиране на света. Familiar е и с един замах, и с качеството: едно качване пренася видеото на всеки избран от вас език, наведнъж, а решенията са съгласувани, защото ги взима един модел, така че нищо не трябва да се сглобява обратно на ръка.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Какво решава MLDM и какво избирате вие?

Мултимодалният модел за вземане на решения при локализация е самият модел. MLDM решава какво да се локализира и как в текста, звука и картината. Пълното определение е в Какво е мултимодален модел за вземане на решения при локализация (MLDM)?

1. ДНЕС

   Решенията за превода, прегледани от творческите ви директори.

   Всяко решение се записва към задачата. Можете да промените всяко от тях.
2. В РАЗРАБОТКА

   Решенията за звука и картината, в същия преглед.

3. В РАЗРАБОТКА

   Текстът в кадъра и дублажът на живо.

   Екран на телефон или уличен знак, написани с термините, които вече сте избрали; марка или име остават, както са заснети, решено в движение: пликче Tostitos си остава Tostitos.

Записът на тези избори е в Записът на решенията: как творческите директори насочват MLDM.

05. Какво получава едно студио от фундаментален модел?

MLDM за досадната част. Творческите решения остават при хората, които са създали произведението; моделът пренася останалото на всеки език наведнъж.

Всеки дублаж се обработва на този клъстер, никога при външен доставчик на AI изчисления, така че медийното ви съдържание никога не изтича. Подробностите са в документацията за частната обработка и документацията за изходните файлове. Зад всичко това стоят доктори на науките, които поставиха началото на областта на съвместните аудиовизуални модели на човека: 22 публикации, над 10,000 цитирания, с проф. Xu Zheng и проф. Youngjung Uh като съветници, с подкрепата на Samsung, RedBird и Gold House. Публикациите са в нашите изследвания.

06. Генеративен изкуствен интелект ли е фундаменталният модел за превод?

Не в традиционния смисъл. IBM определя генеративния изкуствен интелект така:

Това е силен инструмент за създаване на нови неща. MLDM няма промпт и нищо ново не се измисля: той пренася в друг език онова, което вече е там. Не е „генеративен изкуствен интелект“, а превод в помощ на творците. От човек към човек, до още повече хора.

Другите статии от поредицата: Аудиовизуален превод наведнъж, а не поетапно, Какво означава фундаменталният модел за мултимодален превод за студиата и платформите и Пионери в мултимодалния превод.

ВЪПРОСИ