Ką pamatinis multimodalinio vertimo modelis reiškia studijoms ir platformoms

01. Ką pamatinis modelis keičia dubliavime?

Anksčiau mašininis dubliavimas buvo atskirų įrankių grandinė: transkripcija, tada vertimas, tada balsas, tada lūpų sinchronizavimas. Kiekvienas etapas spėjo nežinodamas, ką daro kiti, o klaidos keliavo iš vieno etapo į kitą. Tai, su kuo pirkėjas susiduria šiandien, verčia rinktis tarp kokybės ir laiko. Pagalbiniai įrankiai kokybę pasiekia su VFX specialistų komanda: kelios savaitės kiekvienam projektui, o kiekviena kalba yra naujas projektas. Vieno ypo įrankiai greiti, bet paaukoja visa kita: vertimo redaguoti negalima, balsas nutolsta nuo kalbėtojo, muzika ir patalpos garsas dingsta, o lūpos išsiderina, kai veidą dengia ranka ar mikrofonas, kai vaizdas neryškus, su bokeh efektu, filmuotas iš šono ar kai kadre keli žmonės. Jokio erdvinio mąstymo, jokio pasaulio supratimo, jokios kontrolės. „Familiar“ šią grandinę pakeičia vienu multimodaliniu lokalizavimo sprendimų modeliu (MLDM): vienas ypas ir kokybė.

++

Pirmiausia vertimas, tada dubliažas vienu ypu: balsas, lūpos ir scena kartu.

Garso ir vaizdo vertimas iš karto, o ne grandine: pirmasis tokio pobūdžio. Apibrėžimas – straipsnyje Pirmasis pamatinis multimodalinio vertimo modelis; palyginimas su grandine, žingsnis po žingsnio, – straipsnyje Garso ir vaizdo vertimas iš karto, o ne grandine.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. Ar vienas įkėlimas gali aprėpti visas rinkas, kuriose parduodame?

Taip. Medžiaga bet kuria iš 99 šaltinio kalbų įkeliama vieną kartą, o dubliažai išeina bet kuria iš 30 rezultato kalbų, kurias užsakote: visos kalbos iš vieno įkėlimo, kiekviena su tuo pačiu atlikimu. Sezonas, biblioteka ar vertikalių serijų srautas eina tuo pačiu keliu, o kartą nustatyti terminai pereina į kitą seriją.

Visavertis žmonių dubliažas, vertimas plius balsas, kainuoja $70–150 už galutinę minutę. Tokia kaina didžiajai pasaulio daliai jis neprieinamas. Net didžiausios produkcijos dubliuojamos vos keliomis kalbomis dėl kainos, žmonių ir laiko, kurio tai reikalauja.

Būtent šią spragą užpildo „Familiar“. Ne „generatyvinis DI“, o vertimas, įgalinantis kūrėjus. MLDM – monotoniškam darbui. Nuo žmogaus žmogui, vis platesnei auditorijai.

03. Kas sprendžia, kaip replika nuskambės kita kalba?

MLDM sprendžia, ką lokalizuoti ir kaip, tekste, garse ir vaizde. Svarbiausi pasirinkimai lieka jūsų komandos rankose. Pirmiausia ateina vertimas, ir kur repliką galima perteikti ne vienu būdu, jūsų kūrybos direktoriai prieš dubliavimą mato variantus ir kiekvieno pagrindimą.

Kiekvienas sprendimas įrašomas kartu su projektu, ir bet kurį jų galite pakeisti. Visa istorija – straipsnyje Sprendimų įrašas: kaip kūrybos direktoriai valdo MLDM. Vien pagal žodžius vertimas prilygsta ekspertams žmonėms vertėjams: 100.3% jų kokybės, išmatuota lyginamajame teste.

04. Kas grįžta kartu su baigtu dubliažu?

Pristatymas, kurį jūsų postprodukcijos komanda gali iškart įtraukti į leidimą, pagal srautinių platformų reikalaujamą specifikaciją. Scenos garsas lieka toks, koks buvo: muzika, aplinkos garsai ir juokas išsaugomi, o kalbą keičia tik pati šneka.

Subtitrai sudaromi iš peržiūrėto vertimo ir parengiami pagal „Netflix“ „Timed Text Style Guide“ taisykles – subtitrų šablonų standartą, kuriuo vadovaujasi visa industrija. Visi failai ir formatai išvardyti rezultatų dokumentacijoje.

05. Kur apdorojama mūsų medžiaga?

Neišleista medžiaga yra tai, ką studija saugo labiausiai. Kiekvienas dubliažas apdorojamas „Familiar“ nuosavame dešimčių milijonų dolerių vertės NVIDIA B300 GPU klasteryje Toronte, Kanadoje, „Familiar“ priklausančiuose skaičiavimo pajėgumuose.

Dubliažo kelias ir atsakymai jūsų saugumo vertinimui – privataus apdorojimo dokumentacijoje.

06. Kas prieinama šiandien, o kas jau kuriama?

1. ŠIANDIEN

   Visos kalbos iš vieno įkėlimo, su paties aktoriaus balsu ir lūpomis.

   30 rezultato kalbų, 99 šaltinio kalbos; iki 4K, tikras 5.1 arba stereo miksas, subtitrai.
2. ŠIANDIEN

   Jūsų kūrybos direktoriai peržiūri vertimo sprendimus.

   Variantai su kiekvieno pagrindimu, įrašyti kartu su projektu.
3. JAU KURIAMA

   Garso ir vaizdo sprendimai toje pačioje peržiūroje.

   Kas liks originalo kalba, kitas veidas, kurį tekstą kadre versti.
4. JAU KURIAMA

   Tiesioginis dubliavimas.

Prieiga suteikiama pagal „Studio“ sutartį, pritaikytą jūsų katalogui: aptarkite su komanda savo kūrinius, kalbas ir pristatymo specifikaciją. Komandą sudaro mokslų daktarai, pradėję bendrų audiovizualinių žmogaus modelių sritį: 22 straipsniai, daugiau nei 10 000 citavimų, patarėjai – prof. Xu Zheng ir prof. Youngjung Uh, o remia „Samsung“, „RedBird“ ir „Gold House“. Tyrimai – mūsų straipsniuose ir straipsnyje Multimodalinio vertimo pradininkai; įkūrėjo istorija – mūsų misijos puslapyje.

KLAUSIMAI