DEFINĪCIJA

Kas ir multimodāls lokalizācijas lēmumu modelis (MLDM)?

FAMILIAR PĒTNIECĪBAATJAUNINĀTS VISI RAKSTI
LASĪT VALODĀEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

KOPSAVILKUMS

Pirmais multimodālās tulkošanas pamatmodelis, jauna paradigma, pirmā savā veidā. MLDM ir viens modelis, kas izlemj, ko lokalizēt un kā, tekstā, audio un attēlā, un parāda jums izvēles, kurām ir nozīme. Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina kopā. Lēmumi saskan, jo tos pieņem viens modelis. Cilvēks nemainās.
PIRMAIS MULTIMODĀLĀS TULKOŠANAS PAMATMODELISAUDIOVIZUĀLA TULKOŠANA VIENLAICĪGI, NEVIS KASKĀDĒ

Ko izlemj MLDM?

TEKSTS
Kurš atveidojums pārnes repliku jaunajā valodā. MLDM izsver vairākus atveidojumus un izvēlas labāko: jokā, stāstā vai replikā sarunā viens vārds maina nodomu un emociju. Tie paši lēmumi aptver terminus, to, ko netulkot, slengu, kas atstāts, kā sacīts, īpašvārdu un zīmolu, kas paturēti, atsauci, kas nomainīta pret tādu, ko skatītāji pazīst, to, no kā kultūra izvairās, un rupjības, kas mazinātas versijai jaunākiem skatītājiem.
AUDIO
Ko vispār tulkot. MLDM dzird visu celiņā: smieklus, pūli, kliedzienu, runātāju fonā, kuru neviens nespēj saklausīt. Tas atrod galveno balsi, pārnes to jaunajā valodā runātāja paša balsī, un pārējo atstāj, kā bija.
ATTĒLS
Kurš to patiesībā saka. Audio un attēlu izlemj kopā, tāpēc MLDM zina, kurš ir stāstītājs, kurš runā aiz kadra un kura lūpām jākustas. Lūpas seko jaunajiem vārdiem katrā replikā; sejas izteiksmes un žesti seko, kad to prasa uzsvars vai kultūra.

IZVĒLES, KO JŪS REDZAT

TEKSTS
ŠODIENJa repliku var uztvert dažādi, jūsu radošie direktori saņem atveidojumus ar pamatojumu katram un izvēlas vienu. Podkāstā, sērijā vai filmā šādu fragmentu var būt daudz.
IZSTRĀDĒ
AUDIO
ŠODIEN
IZSTRĀDĒIzvēle, ko atstāt oriģinālvalodā. Skandējums, kliedziens vai frāze var palikt, kā sacīts, ja jūs to vēlaties.
ATTĒLS
ŠODIEN
IZSTRĀDĒCitas sejas izvēle, ja modelis izvēlējies nepareizo runātāju, un izvēle, kuru tekstu kadrā tulkot. Šis teksts (telefona ekrāns, grāmatas vāks, ielas norāde, veikala izkārtne) tiks rakstīts jūsu jau izvēlētajos terminos; modelis uzreiz izlemj, ko atstāt, kā nofilmēts, vai tas būtu zīmols, īpašvārds vai slengs: Tostitos paciņa paliek Tostitos.

Kāpēc viens modelis?

RĪKU ĶĒDE

  • Runas pārveide tekstā, tad tulkojums, tad balss, tad lūpu sinhronizācija, katrs posms pieskaņots atsevišķi.
  • Šī ķēde padarīja mašīnas dublāžu iespējamu.
  • Katrs posms joprojām min, nezinot par pārējiem, tāpēc kļūdas krājas no posma uz posmu.

VIENS PAMATMODELIS, PIRMAIS SAVĀ VEIDĀ

  • MLDM pieņem lēmumus kopā.
  • Tulkojums zina, kurai mutei tam jāatbilst.
  • Balss zina, kurā ainā tā skan.
  • Cilvēks nemainās.
++
Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina iznāk kopā, no tiem pašiem lēmumiem.

Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē: pirmā savā veidā. Tieši tas padara MLDM par pirmo multimodālās tulkošanas pamatmodeli: viens modelis, kas pārnes jaunajā valodā vārdus, balsi, lūpas un ainu, visu reizē. Augstas kvalitātes ceļš šodien ir asistējošs: VFX mākslinieku komanda un nedēļas katram projektam, un katra valoda ir jauns projekts. Rīki, kas šodien dublē vienā piegājienā, ir ātri un upurē visu pārējo. Familiar ir viens piegājiens un kvalitāte.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Kāda ir atšķirība starp lokalizāciju un tulkošanu?

Tulkojums ir vārdi. Lokalizācija ir tas, kas kultūrai no tiem vajadzīgs.

Pareizie termini, slengs, īpašvārdi, kas atstāti, kā sacīts, atsauce, kas nomainīta pret tādu, ko skatītāji pazīst, tas, no kā šī kultūra izvairās, piemērots rupjību līmenis. MLDM izlemj to visu, un ar laiku arī attēlu, kad tam jāmainās.

Vai MLDM ir ģeneratīvais MI?

Nē. IBM to definē šādi:

Ģeneratīvais MI, ko dažkārt sauc par gen AI, ir mākslīgais intelekts (MI), kas, atbildot uz lietotāja uzvedni vai pieprasījumu, spēj radīt oriģinālu saturu, piemēram, tekstu, attēlus, video, audio vai programmatūras kodu.
IBM, What is generative AI?

Tas ir spēcīgs rīks jaunu lietu radīšanai. MLDM nav uzvednes, un nekas jauns netiek izdomāts: tas izlemj, kā lokalizēt to, kas jau ir. Pilna nostāja: Kāpēc Familiar nav tradicionāls ģeneratīvais MI un Tulkošana nav ģenerēšana.

Kam pieder šie lēmumi?

Jums. Katrs lēmums, ko pieņem MLDM, tiek saglabāts kopā ar dublējumu, saglabātajos lēmumos.

  1. ŠODIEN

    Jūsu radošie direktori pārskata tulkojuma lēmumus.

    Atveidojumi ar pamatojumu katram; viņi izvēlas vienu, pirms kaut kas tiek publicēts.
  2. ŠODIEN

    Saraksts „Netulkot” un viena teikuma konteksts ceļo kopā ar darbu.

  3. IZSTRĀDĒ

    Audio un attēla lēmumi tajā pašā pārskatīšanā.

  4. IZSTRĀDĒ

    Lēmumu atmiņa.

    Veidotājam iegaumēta izmaiņa tiek piemērota jau nākamajā dublējumā, tāpēc reiz izdarīta izvēle attiecas arī uz nākamo sēriju.

Viss stāsts: Saglabātie lēmumi: kā radošie direktori vada MLDM; plānotā API ir aprakstīta lēmumu dokumentācijā.

JAUTĀJUMI

Ko nozīmē MLDM?

MLDM nozīmē multimodālu lokalizācijas lēmumu modeli (Multimodal Localization Decision Model), jaunu paradigmu, pirmo savā veidā: viens modelis, kas izlemj, ko lokalizēt un kā, tekstā, audio un attēlā. Tas izvēlas replikas atveidojumu, ko tulkot audio celiņā, kurš uz ekrāna runā un kā sekos lūpas, sejas izteiksmes un žesti.

Vai MLDM ir video modelis?

Ne parastajā nozīmē. MLDM strādā ar jau esošu materiālu un izlemj, kā to lokalizēt: vārdus, balsi, lūpas un sejas izteiksmes. Cilvēks uz ekrāna paliek tieši tāds, kāds viņš ir, katrā valodā.

Vai MLDM rada jaunu video materiālu?

Nē. Nav uzvednes, un nekas jauns netiek izdomāts. MLDM izlemj, kā lokalizēt to, kas jau ir: aktieris, ritms un aina paliek, bet vārdi, balss celiņš un lūpas mainās, lai atbilstu jaunajai valodai.

Ko MLDM izlemj audio celiņā?

Ko vispār tulkot. Tas atrod galveno balsi un pārnes to jaunajā valodā runātāja paša balsī. Smiekli, pūlis, kliedziens un runātājs fonā, kuru neviens nespēj saklausīt, paliek, kā bija.

Vai MLDM maina sejas izteiksmes?

Kad to prasa uzsvars vai kultūra. Lūpas seko jaunajiem vārdiem katrā replikā; sejas izteiksmes un žesti seko, kad replika jaunajā valodā izskan citādi. Cilvēks paliek tieši tāds, kāds viņš ir.

Vai MLDM tulko tekstu uz ekrāna?

Vēl ne. Teksts kadrā, piemēram, telefona ekrāns, grāmatas vāks, ielas norāde vai veikala izkārtne, tiek integrēts tagad, jūsu jau izvēlētajos terminos; modelis uzreiz izlemj, ko atstāt, kā nofilmēts, vai tas būtu zīmols, īpašvārds vai slengs: Tostitos paciņa paliek Tostitos. Šodien tiek lokalizēti vārdi, balss, lūpas, sejas izteiksmes un žesti.

Vai varu mainīt modeļa pieņemtu lēmumu?

Jā. Katrs lēmums tiek saglabāts kopā ar darbu, un jūs to varat mainīt. Šodien jūsu radošie direktori izvēlas starp tulkojuma atveidojumiem, katram ar pamatojumu, un reiz izdarīta izvēle attiecas arī uz nākamo sēriju.

Vai modelis parāda savas izvēles audio un attēlā?

Tulkojuma izvēles tiek parādītas jau šodien. Audio izvēles, piemēram, ko atstāt oriģinālvalodā, un attēla izvēles, piemēram, citas sejas izvēle vai tas, kuru tekstu kadrā tulkot, ir izstrādē.

ATSAUCES

  1. [1]IBM, What is generative AI?, lasīts 2026. gada 27. oktobrī
  2. [2]Mūsu misija
  3. [3]Familiar BUJ

Multimodālā tulkošana

Familiar Labs veido par paaudzi labāku dublāžu ar multimodālu lokalizācijas lēmumu modeli (MLDM), pirmo multimodālās tulkošanas pamatmodeli: viens modelis izlemj, ko lokalizēt tekstā, audio un attēlā, un parāda jums izvēles. Jūsu balss un lūpas, pārnestas jaunās valodās. 8 cilvēku komanda ar PhD, ko atbalsta Samsung, RedBird un Gold House. Mūsu misija

Skatīt pilno salīdzinājumu →Sazināties ar komandu