Kas yra multimodalinis lokalizavimo sprendimų modelis (MLDM)?

FAMILIAR TYRIMAI2026-10-27ATNAUJINTA 2026-11-01VISI STRAIPSNIAI

SANTRAUKA

Pirmasis pamatinis multimodalinio vertimo modelis, nauja paradigma, pirmoji tokio pobūdžio. MLDM – tai vienas modelis, kuris sprendžia, ką lokalizuoti ir kaip, tekste, garse ir vaizde, ir parodo jums svarbiausius pasirinkimus. Pirmiausia vertimas, tada dubliažas vienu ypu: balsas, lūpos ir scena kartu. Sprendimai dera tarpusavyje, nes juos priima vienas modelis. Žmogus niekada nepasikeičia.

PIRMASIS PAMATINIS MULTIMODALINIO VERTIMO MODELISGARSO IR VAIZDO VERTIMAS IŠ KARTO, O NE GRANDINE

Ką sprendžia MLDM?

TEKSTAS

Kuriuo variantu replika pereina į naują kalbą. MLDM pasveria kelis vertimo variantus ir išrenka geriausią: juokelyje, istorijoje ar pokalbio replikoje vienas žodis pakeičia ketinimą ir emociją. Tie patys sprendimai apima terminus, tai, ko neversti, slengą, paliekamą taip, kaip pasakyta, paliekamą vardą ir prekės ženklą, kultūrinę nuorodą, pakeičiamą tokia, kurią žiūrovai atpažįsta, tai, ko kultūra vengia, ir keiksmažodžius, sušvelnintus jaunesnei auditorijai skirtai versijai.

GARSAS

Ką apskritai versti. MLDM girdi viską, kas yra takelyje: juoką, minią, šūksnį, fone kalbantį žmogų, kurio niekas neišskiria. Jis randa pagrindinį balsą, perkelia jį į naują kalbą paties kalbėtojo balsu, o visa kita palieka, kaip buvo.

VAIZDAS

Kas iš tikrųjų tai sako. Garsas ir vaizdas sprendžiami kartu, todėl MLDM žino, kas pasakoja, kas kalba už kadro ir kieno lūpos turi judėti. Lūpos seka naujus žodžius kiekvienoje replikoje; veido išraiškos ir gestai seka tada, kai to reikalauja akcentas ar kultūra.

PASIRINKIMAI, KURIUOS MATOTE

TEKSTAS

ŠIANDIENKur repliką galima perteikti ne vienu būdu, jūsų kūrybos direktoriai gauna variantus su kiekvieno pagrindimu ir išsirenka vieną. Tinklalaidėje, serijoje ar filme tokių atkarpų gali būti daug.

JAU KURIAMA

GARSAS

ŠIANDIEN

JAU KURIAMAPasirinkimas, kas liks originalo kalba. Skanduotė, riksmas ar frazė gali likti, kaip pasakyta, jei to norite.

VAIZDAS

ŠIANDIEN

JAU KURIAMAGalimybė pasirinkti kitą veidą, kai modelis parinko ne tą kalbėtoją, ir pasirinkti, kurį tekstą kadre versti. Tas tekstas – telefono ekranas, knygos viršelis, gatvės lentelė, parduotuvės iškaba – bus užrašomas jūsų jau pasirinktais terminais; modelis iš karto sprendžia, ką palikti taip, kaip nufilmuota, ar tai būtų prekės ženklas, vardas, ar slengas: Tostitos pakelis lieka Tostitos.

Kodėl vienas modelis?

ĮRANKIŲ GRANDINĖ

Kalbos atpažinimas, tada vertimas, tada balsas, tada lūpų sinchronizavimas, kiekvienas etapas derinamas atskirai.
Ši grandinė leido atsirasti mašininiam dubliavimui.
Tačiau kiekvienas etapas spėja nežinodamas, ką daro kiti, todėl klaidos kaupiasi nuo vieno etapo prie kito.

VIENAS PAMATINIS MODELIS, PIRMASIS TOKIO POBŪDŽIO

MLDM sprendimus priima kartu.
Vertimas žino, prie kokios burnos turi derėti.
Balsas žino, kokioje scenoje skamba.
Žmogus niekada nepasikeičia.

Pirmiausia vertimas, tada dubliažas vienu ypu: balsas, lūpos ir scena gimsta kartu, iš tų pačių sprendimų.

Garso ir vaizdo vertimas iš karto, o ne grandine: pirmasis tokio pobūdžio. Būtent tai daro MLDM pirmuoju pamatiniu multimodalinio vertimo modeliu: vienas modelis, kuris žodžius, balsą, lūpas ir sceną perkelia į naują kalbą vienu metu. Aukštos kokybės kelias šiandien yra pagalbinis: VFX specialistų komanda ir kelios savaitės kiekvienam projektui, o kiekviena kalba yra naujas projektas. Šiandieniai vieno ypo įrankiai greiti, bet paaukoja visa kita. „Familiar“ – tai vienas ypas ir kokybė.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Kuo lokalizavimas skiriasi nuo vertimo?

Vertimas – tai žodžiai. Lokalizavimas – tai, ko iš jų reikia kultūrai.

Tinkami terminai, slengas, vardai, palikti taip, kaip pasakyti, kultūrinė nuoroda, pakeista tokia, kurią žiūrovai atpažįsta, tai, ko ta kultūra vengia, tinkamas keiksmažodžių lygis. MLDM sprendžia visa tai, o ilgainiui ir vaizdą, kai jį reikia keisti.

Ar MLDM yra generatyvinis DI?

Ne. IBM jį apibrėžia taip:

Generatyvinis DI, kartais vadinamas gen DI, – tai dirbtinis intelektas (DI), galintis kurti originalų turinį, pavyzdžiui, tekstą, vaizdus, vaizdo įrašus, garsą ar programinį kodą, atsižvelgdamas į naudotojo užklausą ar prašymą.

IBM, What is generative AI?

Tai galingas įrankis naujiems dalykams kurti. MLDM užklausos neturi, ir nieko naujo neišgalvojama: jis sprendžia, kaip lokalizuoti tai, kas jau yra. Visa pozicija išdėstyta straipsniuose Kodėl „Familiar“ nėra tradicinis generatyvinis DI ir Vertimas nėra generavimas.

Kieno tai sprendimai?

Jūsų. Kiekvienas MLDM priimtas sprendimas įrašomas kartu su dubliažu, sprendimų įraše.

ŠIANDIEN
Jūsų kūrybos direktoriai peržiūri vertimo sprendimus.
Variantai su kiekvieno pagrindimu; jie išsirenka vieną, kol niekas dar neišleista.
ŠIANDIEN
Neverčiamų žodžių sąrašas ir vieno sakinio kontekstas keliauja kartu su užduotimi.
JAU KURIAMA
Garso ir vaizdo sprendimai toje pačioje peržiūroje.
JAU KURIAMA
Sprendimų atmintis.
Kūrėjui įsimintas pakeitimas pirmiausia pritaikomas kitame dubliaže, todėl kartą priimtas pasirinkimas pereina į kitą seriją.

Visa istorija – straipsnyje Sprendimų įrašas: kaip kūrybos direktoriai valdo MLDM; planuojama API aprašyta sprendimų dokumentacijoje.

KLAUSIMAI

Ką reiškia MLDM?

MLDM reiškia „Multimodal Localization Decision Model“, multimodalinį lokalizavimo sprendimų modelį, naują paradigmą, pirmąją tokio pobūdžio: vienas modelis, kuris sprendžia, ką lokalizuoti ir kaip, tekste, garse ir vaizde. Jis parenka replikos vertimą, sprendžia, ką garse versti, kas ekrane kalba ir kaip seka lūpos, veido išraiškos ir gestai.

Ar MLDM yra vaizdo modelis?

Ne įprasta prasme. MLDM dirba su jau esama vaizdo medžiaga ir sprendžia, kaip ją lokalizuoti: žodžius, balsą, lūpas ir veido išraiškas. Žmogus ekrane lieka lygiai toks pat, kiekviena kalba.

Ar MLDM kuria naują vaizdo medžiagą?

Ne. Užklausos nėra, ir nieko naujo neišgalvojama. MLDM sprendžia, kaip lokalizuoti tai, kas jau yra: aktorius, laikas ir scena lieka, o žodžiai, balso takelis ir lūpos pasikeičia, kad derėtų prie naujos kalbos.

Ką MLDM sprendžia garse?

Ką apskritai versti. Jis randa pagrindinį balsą ir perkelia jį į naują kalbą paties kalbėtojo balsu. Juokas, minia, šūksnis ir fone kalbantis žmogus, kurio niekas neišskiria, lieka tokie, kokie buvo.

Ar MLDM keičia veido išraiškas?

Kai to reikalauja akcentas ar kultūra. Lūpos seka naujus žodžius kiekvienoje replikoje; veido išraiškos ir gestai seka tada, kai replika naujoje kalboje nuskamba kitaip. Žmogus lieka lygiai toks pat.

Ar MLDM verčia tekstą ekrane?

Kol kas ne. Tekstas kadre, pavyzdžiui, telefono ekranas, knygos viršelis, gatvės lentelė ar parduotuvės iškaba, šiuo metu integruojamas ir bus užrašomas jūsų jau pasirinktais terminais; modelis iš karto sprendžia, ką palikti taip, kaip nufilmuota, ar tai būtų prekės ženklas, vardas, ar slengas: Tostitos pakelis lieka Tostitos. Šiandien lokalizuojami žodžiai, balsas, lūpos, veido išraiškos ir gestai.

Ar galiu pakeisti modelio priimtą sprendimą?

Taip. Kiekvienas sprendimas įrašomas kartu su projektu, ir jūs galite jį pakeisti. Šiandien jūsų kūrybos direktoriai renkasi iš vertimo variantų, kurių kiekvienas turi savo pagrindimą, o kartą priimtas pasirinkimas pereina į kitą seriją.

Ar modelis parodo savo pasirinkimus garse ir vaizde?

Vertimo pasirinkimai rodomi jau šiandien. Garso pasirinkimai, pavyzdžiui, kas liks originalo kalba, ir vaizdo pasirinkimai, pavyzdžiui, kito veido parinkimas ar tai, kurį tekstą kadre versti, jau kuriami.

ŠALTINIAI

Multimodalinis vertimas

„Familiar Labs“ kuria naujos kartos dubliažą, pasitelkdama multimodalinį lokalizavimo sprendimų modelį (MLDM), pirmąjį pamatinį multimodalinio vertimo modelį: vienas modelis sprendžia, ką lokalizuoti tekste, garse ir vaizde, ir parodo jums pasirinkimus. Jūsų balsas ir lūpos, perkelti į naujas kalbas. Tai 8 žmonių komanda su mokslų daktarais, kurią remia „Samsung“, „RedBird“ ir „Gold House“. Mūsų misija

Žiūrėti visą lyginamąjį testą →Pasikalbėti su komanda