Шта фундаментални модел за мултимодални превод доноси студијима и платформама

01. Шта фундаментални модел мења у синхронизацији?

Машинска синхронизација је била каскада засебних алата: транскрипција, па превод, па глас, па синхронизација усана. Свака фаза је погађала без осталих, а грешке су се преносиле из фазе у фазу. Оно на шта купац данас наилази мења квалитет за време. Помоћни алати достижу квалитет уз тим VFX уметника: седмице рада по пројекту, а сваки језик је нови пројекат. Алати у једном пролазу су брзи и жртвују све остало: превод не може да се мења, глас одлута, музика и амбијент просторије нестају, а усне закажу на руци преко лица, микрофону, замућењу, бокеу, профилу или више људи у кадру. Без просторног резоновања, без разумевања света, без контроле. Familiar ланац замењује једним мултимодалним моделом одлучивања о локализацији (MLDM): један пролаз и квалитет.

++

Прво превод, а затим синхронизација у једном пролазу: глас, усне и сцена заједно.

Аудио-визуелни превод одједном, а не каскадно: први те врсте. Дефиниција је у тексту Први фундаментални модел за мултимодални превод; поређење са каскадом, корак по корак, у тексту Аудио-визуелни превод одједном, а не каскадно.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Може ли једно отпремање да покрије свако тржиште на ком продајемо?

Да. Снимак на било ком од 99 изворних језика улази једном, а синхронизације излазе на било ком од 30 излазних језика које наручите: сви језици из једног отпремања, сваки са истом изведбом. Сезона, библиотека или низ вертикалних епизода иду истим путем, а термини које подесите једном прате и следећу епизоду.

Комплетна синхронизација коју раде људи, превод плус глас, кошта од $70 до $150 по готовом минуту. По тој цени недоступна је већем делу света. Чак и највеће продукције синхронизују тек неколико језика, због трошкова, људи и времена које захтева.

Тај јаз Familiar затвара. Није „генеративни AI“, већ превод у служби стваралаца. MLDM за заморни део посла. Од човека до човека, за све ширу публику.

03. Ко одлучује како реплика делује на другом језику?

MLDM одлучује шта локализовати и како, у тексту, звуку и слици. Ваш тим и даље управља изборима који су важни. Превод долази први, а где реплика може да се схвати на више начина, ваши креативни директори виде опције и образложење за сваку пре него што било шта буде синхронизовано.

Свака одлука се бележи уз задатак и сваку од њих можете преиначити. Цела прича је у тексту Запис одлука: како креативни директори усмеравају MLDM. Кад се гледају само речи, превод се изједначава са стручним људским преводиоцима: 100.3% њиховог квалитета, измерено у бенчмарку.

04. Шта стиже уз готову синхронизацију?

Испорука коју ваш постпродукцијски тим може директно да убаци у издање, по спецификацији коју стриминг сервис тражи. Звук сцене остаје какав је био: музика, амбијент и смех су сачувани, а језик мења само говор.

Титлови се праве из прегледаног превода и секу по конвенцијама Netflix-овог водича Timed Text Style Guide, стандарда за шаблоне титлова по којем ради индустрија. Свака датотека и формат наведени су у документацији о излазним датотекама.

05. Где се обрађују наши снимци?

Необјављени снимак је имовина коју студио највише чува. Свака синхронизација се обрађује на Familiar-овом сопственом кластеру NVIDIA B300 GPU-а вредном десетине милиона долара, у Торонту, у Канади, на рачунарским капацитетима које Familiar поседује.

Пут једне синхронизације и одговори за вашу безбедносну проверу налазе се у документацији о приватној инференцији.

06. Шта је доступно данас, а шта је у припреми?

1. ДАНАС

   Сви језици из једног отпремања, са сопственим гласом и уснама глумца.

   30 излазних језика, 99 изворних језика на улазу; до 4K, прави 5.1 или стерео микс, титлови.
2. ДАНАС

   Ваши креативни директори прегледају одлуке о преводу.

   Опције са образложењем за сваку, забележене уз задатак.
3. У ПРИПРЕМИ

   Одлуке о звуку и слици, у истом прегледу.

   Шта остаје на изворном језику, друго лице, који текст у кадру превести.
4. У ПРИПРЕМИ

   Синхронизација уживо.

Приступ је по Studio уговору, по мери вашег каталога: разговарајте са тимом о својим насловима, језицима и спецификацији испоруке. Тим чине доктори наука који су започели област заједничких аудио-визуелних модела човека: 22 рада, преко 10,000 цитата, уз проф. Xu Zheng и проф. Youngjung Uh као саветнике, уз подршку компанија Samsung, RedBird и Gold House. Истраживање је у нашим радовима и у тексту Пионири мултимодалног превода; прича оснивача је на страници наше мисије.

ПИТАЊА