DEFINĪCIJA

Kas ir multimodāls lokalizācijas pamatmodelis (MLFM)?

FAMILIAR LABS PĒTNIECĪBAATJAUNINĀTS VISI RAKSTI
LASĪT VALODĀEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнськаHrvatskiLietuviųSlovenčinaSvenskaБългарскиDanskLatviešu

KOPSAVILKUMS

Pirmais multimodālās tulkošanas pamatmodelis, jauna paradigma, pirmā savā veidā. MLFM ir viens modelis, kas izlemj, ko lokalizēt un kā, tekstā, audio un attēlā, un parāda jums izvēles, kurām ir nozīme. Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina kopā. Lēmumi saskan, jo tos pieņem viens modelis. Cilvēks nemainās.
PIRMAIS MULTIMODĀLĀS TULKOŠANAS PAMATMODELISAUDIOVIZUĀLA TULKOŠANA VIENLAICĪGI, NEVIS KASKĀDĒ

Ko izlemj MLFM?

TEKSTS
Kurš atveidojums pārnes repliku jaunajā valodā. MLFM izsver vairākus atveidojumus un izvēlas labāko: jokā, stāstā vai replikā sarunā viens vārds maina nodomu un emociju. Tie paši lēmumi aptver terminus, to, ko netulkot, slengu, kas atstāts, kā sacīts, īpašvārdu un zīmolu, kas paturēti, atsauci, kas nomainīta pret tādu, ko skatītāji pazīst, to, no kā kultūra izvairās, un rupjības, kas mazinātas versijai jaunākiem skatītājiem.
AUDIO
Ko vispār tulkot. MLFM dzird visu celiņā: smieklus, pūli, kliedzienu, runātāju fonā, kuru neviens nespēj saklausīt. Tas atrod galveno balsi, pārnes to jaunajā valodā runātāja paša balsī, un pārējo atstāj, kā bija.
ATTĒLS
Kurš to patiesībā saka. Audio un attēlu izlemj kopā, tāpēc MLFM zina, kurš ir stāstītājs, kurš runā aiz kadra un kura lūpām jākustas. Lūpas seko jaunajiem vārdiem katrā replikā, ieskaitot aizsegumus un telpisko domāšanu; sejas izteiksmes un žesti seko, kad to prasa uzsvars vai kultūra.

IZVĒLES, KO JŪS REDZAT

TEKSTS
ŠODIENJa repliku var uztvert dažādi, jūsu radošie direktori saņem atveidojumus ar pamatojumu katram un izvēlas vienu. Podkāstā, sērijā vai filmā šādu fragmentu var būt daudz.
IZSTRĀDĒ
AUDIO
ŠODIEN
IZSTRĀDĒIzvēle, ko atstāt oriģinālvalodā. Skandējums, kliedziens vai frāze var palikt, kā sacīts, ja jūs to vēlaties.
ATTĒLS
ŠODIEN
IZSTRĀDĒCitas sejas izvēle, ja modelis izvēlējies nepareizo runātāju, un izvēle, kuru tekstu kadrā tulkot. Šis teksts (telefona ekrāns, grāmatas vāks, ielas norāde, veikala izkārtne) tiks rakstīts jūsu jau izvēlētajos terminos; modelis uzreiz izlemj, ko atstāt, kā nofilmēts, vai tas būtu zīmols, īpašvārds vai slengs: Tostitos paciņa paliek Tostitos.

Kāpēc viens modelis?

RĪKU ĶĒDE

  • Runas pārveide tekstā, tad tulkojums, tad balss, tad lūpu sinhronizācija, katrs posms pieskaņots atsevišķi.
  • Šī ķēde padarīja mašīnas dublāžu iespējamu.
  • Katrs posms joprojām min, nezinot par pārējiem, tāpēc kļūdas krājas no posma uz posmu.

VIENS PAMATMODELIS, PIRMAIS SAVĀ VEIDĀ

  • MLFM pieņem lēmumus kopā.
  • Tulkojums zina, kurai mutei tam jāatbilst.
  • Balss zina, kurā ainā tā skan.
  • Cilvēks nemainās.
++
Vispirms tulkojums, tad dublāža vienā piegājienā: balss, lūpas un aina iznāk kopā, no tiem pašiem lēmumiem.

Audiovizuāla tulkošana vienlaicīgi, nevis kaskādē: pirmā savā veidā. Tieši tas padara MLFM par pirmo multimodālās tulkošanas pamatmodeli: viens modelis, kas pārnes jaunajā valodā vārdus, balsi, lūpas un ainu, visu reizē. Augstas kvalitātes ceļš šodien ir asistējošs: VFX mākslinieku komanda un nedēļas katram projektam, un katra valoda ir jauns projekts. Rīki, kas šodien dublē vienā piegājienā, ir ātri un upurē visu pārējo. Familiar Labs ir viens piegājiens un kvalitāte.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar Labs is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR LABS CLOSER TO THE REAL SPEAKER

FAMILIAR LABS · ONE SHOT AND THE QUALITYFamiliar Labs vs Flawless TrueSync The ElevenLabs study The demos

Kāda ir atšķirība starp lokalizāciju un tulkošanu?

Tulkojums ir vārdi. Lokalizācija ir tas, kas kultūrai no tiem vajadzīgs.

Pareizie termini, slengs, īpašvārdi, kas atstāti, kā sacīts, atsauce, kas nomainīta pret tādu, ko skatītāji pazīst, tas, no kā šī kultūra izvairās, piemērots rupjību līmenis. MLFM izlemj to visu, un ar laiku arī attēlu, kad tam jāmainās.

Vai MLFM ir ģeneratīvais MI?

Nē. IBM to definē šādi:

Ģeneratīvais MI, ko dažkārt sauc par gen AI, ir mākslīgais intelekts (MI), kas, atbildot uz lietotāja uzvedni vai pieprasījumu, spēj radīt oriģinālu saturu, piemēram, tekstu, attēlus, video, audio vai programmatūras kodu.
IBM, What is generative AI?

Tas ir spēcīgs rīks jaunu lietu radīšanai. MLFM nav uzvednes, un nekas jauns netiek izdomāts: tas izlemj, kā lokalizēt to, kas jau ir. Pilna nostāja: Kāpēc Familiar Labs nav tradicionāls ģeneratīvais MI un Tulkošana nav ģenerēšana.

Kam pieder šie lēmumi?

Jums. Katrs lēmums, ko pieņem MLFM, tiek saglabāts kopā ar dublējumu, saglabātajos lēmumos.

  1. ŠODIEN

    Jūsu radošie direktori pārskata tulkojuma lēmumus.

    Atveidojumi ar pamatojumu katram; viņi izvēlas vienu, pirms kaut kas tiek publicēts.
  2. ŠODIEN

    Saraksts „Netulkot” un viena teikuma konteksts ceļo kopā ar darbu.

  3. IZSTRĀDĒ

    Audio un attēla lēmumi tajā pašā pārskatīšanā.

  4. IZSTRĀDĒ

    Lēmumu atmiņa.

    Veidotājam iegaumēta izmaiņa tiek piemērota jau nākamajā dublējumā, tāpēc reiz izdarīta izvēle attiecas arī uz nākamo sēriju.

Viss stāsts: Saglabātie lēmumi: kā radošie direktori vada MLFM; plānotā API ir aprakstīta lēmumu dokumentācijā.

JAUTĀJUMI

Ko nozīmē MLFM?

MLFM nozīmē multimodālu lokalizācijas pamatmodeli (Multimodal Localization Foundation Model), jaunu paradigmu, pirmo savā veidā: viens modelis, kas izlemj, ko lokalizēt un kā, tekstā, audio un attēlā. Tas izvēlas replikas atveidojumu, ko tulkot audio celiņā, kurš uz ekrāna runā un kā sekos lūpas, sejas izteiksmes un žesti.

Vai MLFM ir video modelis?

Ne parastajā nozīmē. MLFM strādā ar jau esošu materiālu un izlemj, kā to lokalizēt: vārdus, balsi, lūpas un sejas izteiksmes. Cilvēks uz ekrāna paliek tieši tāds, kāds viņš ir, katrā valodā.

ATSAUCES

  1. [1]IBM, What is generative AI?, lasīts 2026. gada 27. oktobrī
  2. [2]Mūsu misija
  3. [3]Familiar Labs BUJ

Multimodālā tulkošana

Familiar Labs veido par paaudzi labāku dublāžu ar multimodālu lokalizācijas pamatmodeli (MLFM), pirmo multimodālās tulkošanas pamatmodeli: viens modelis izlemj, ko lokalizēt tekstā, audio un attēlā, un parāda jums izvēles. Jūsu balss un lūpas, pārnestas jaunās valodās. 7 cilvēku komanda ar PhD, ko atbalsta Samsung, RedBird un Gold House. Mūsu misija

Skatīt pilno salīdzinājumu →Sazināties ar komandu