DEFINICIJA

Što je multimodalni model odlučivanja o lokalizaciji (MLDM)?

FAMILIAR ISTRAŽIVANJEAŽURIRANO SVI ČLANCI
PROČITAJTE NAEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAŽETAK

Prvi temeljni model za multimodalno prevođenje, nova paradigma, prva takve vrste. MLDM je jedan model koji odlučuje što lokalizirati i kako, u tekstu, zvuku i slici, i pokazuje vam izbore koji su bitni. Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena zajedno. Odluke se slažu jer ih donosi jedan model. Osoba se nikad ne mijenja.
PRVI TEMELJNI MODEL ZA MULTIMODALNO PREVOĐENJEAUDIOVIZUALNO PREVOĐENJE ODJEDNOM, A NE KASKADNO

O čemu MLDM odlučuje?

TEKST
Kojim prijevodom redak prenijeti u novi jezik. MLDM važe nekoliko mogućih prijevoda i bira najbolji: u šali, priči ili replici u razgovoru jedna riječ mijenja namjeru i emociju. Iste odluke obuhvaćaju terminologiju, ono što ne treba prevoditi, žargon zadržan kako je izgovoren, ime i brend zadržani, referencu zamijenjenu onom koju publika poznaje, ono što ta kultura izbjegava i psovke ublažene za mlađu publiku.
ZVUK
Što uopće prevesti. MLDM čuje sve u zvučnom zapisu: smijeh, žamor publike, povik, govornika u pozadini kojeg nitko ne može razabrati. Pronalazi glavni glas, prenosi ga u novi jezik govornikovim vlastitim glasom, a ostatak ostavlja kakav je bio.
SLIKA
Tko to zapravo govori. O zvuku i slici odlučuje se zajedno, pa MLDM zna tko pripovijeda, tko govori izvan kadra i čije se usne trebaju micati. Usne prate nove riječi u svakom retku; izrazi lica i geste prate ih kad to naglasak ili kultura traži.

IZBORI KOJE VIDITE

TEKST
DANASKad se redak može shvatiti na više načina, vaši kreativni direktori dobivaju ponuđene prijevode s obrazloženjem za svaki i biraju jedan. Podcast, epizoda ili film mogu imati mnogo takvih segmenata.
U IZRADI
ZVUK
DANAS
U IZRADIOdabir onoga što ostaje na izvornom jeziku. Skandiranje, uzvik ili fraza mogu ostati kako su izgovoreni kad vi to želite.
SLIKA
DANAS
U IZRADIOdabir drugog lica kad je model izabrao pogrešnog govornika i odabir teksta u kadru koji treba prevesti. Taj tekst, zaslon mobitela, korice knjige, ulični natpis, izlog, bit će napisan izrazima koje ste već odabrali; model u hodu odlučuje što ostaje kako je snimljeno, brend, ime, žargon: vrećica čipsa Tostitos ostaje Tostitos.

Zašto jedan model?

LANAC ALATA

  • Pretvaranje govora u tekst, zatim prijevod, zatim glas, zatim sinkronizacija usana, a svaka se faza podešava zasebno.
  • Taj je lanac omogućio strojnu sinkronizaciju.
  • Svaka faza i dalje nagađa bez ostalih, pa se pogreške gomilaju iz faze u fazu.

JEDAN TEMELJNI MODEL, PRVI TAKVE VRSTE

  • MLDM donosi odluke zajedno.
  • Prijevod zna u koja usta mora sjesti.
  • Glas zna u kojoj se sceni nalazi.
  • Osoba se nikad ne mijenja.
++
Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena izlaze zajedno, iz istih odluka.

Audiovizualno prevođenje odjednom, a ne kaskadno: prvo takve vrste. Zato je MLDM prvi temeljni model za multimodalno prevođenje: jedan model koji riječi, glas, usne i scenu prenosi u novi jezik, sve odjednom. Put do visoke kvalitete danas je pomoćni: tim VFX umjetnika i tjedni rada po projektu, a svaki je jezik novi projekt. Današnji alati koji rade u jednom prolazu brzi su, ali se odriču svega ostalog. Familiar radi u jednom prolazu i donosi kvalitetu.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Koja je razlika između lokalizacije i prijevoda?

Prijevod su riječi. Lokalizacija je ono što kultura od njih treba.

Prava terminologija, žargon, imena zadržana kako su izgovorena, referenca zamijenjena onom koju publika poznaje, ono što ta kultura izbjegava, razina psovki koja odgovara. MLDM odlučuje o svemu tome, a s vremenom i o slici, kad se i ona mora promijeniti.

Je li MLDM generativni AI?

Nije. IBM ga definira ovako:

Generativni AI, koji se ponekad naziva i gen AI, umjetna je inteligencija (AI) koja može stvarati originalan sadržaj, poput teksta, slika, videa, zvuka ili programskog koda, kao odgovor na korisnikov upit ili zahtjev.
IBM, What is generative AI?

To je snažan alat za stvaranje novih stvari. MLDM nema upita i ništa novo ne izmišlja: odlučuje kako lokalizirati ono što već postoji. Cijelo stajalište pročitajte u tekstovima Zašto Familiar nije generativni AI u tradicionalnom smislu i Prijevod nije generiranje.

Čije su to odluke?

Vaše. Svaka odluka koju MLDM donese bilježi se uz sinkronizaciju, u zapisu odluka.

  1. DANAS

    Vaši kreativni direktori pregledavaju odluke o prijevodu.

    Ponuđene prijevode s obrazloženjem za svaki; biraju jedan prije nego što išta izađe.
  2. DANAS

    Popis Ne prevoditi i kontekst u jednoj rečenici putuju sa zadatkom.

  3. U IZRADI

    Odluke o zvuku i slici, u istom pregledu.

  4. U IZRADI

    Pamćenje odluka.

    Promjena zapamćena za kreatora primjenjuje se prva na sljedećoj sinkronizaciji, pa izbor donesen jednom vrijedi i za sljedeću epizodu.

Cijela priča je u tekstu Zapis odluka; planirani API opisan je u dokumentaciji o odlukama.

PITANJA

Što znači MLDM?

MLDM znači multimodalni model odlučivanja o lokalizaciji (Multimodal Localization Decision Model), nova paradigma, prva takve vrste: jedan model koji odlučuje što lokalizirati i kako, u tekstu, zvuku i slici. Bira prijevod retka, što prevesti u zvuku, tko na ekranu govori te kako ga prate usne, izrazi lica i geste.

Je li MLDM video model?

Ne u uobičajenom smislu. MLDM radi na snimci koja već postoji i odlučuje kako je lokalizirati: riječi, glas, usne i izraze lica. Osoba na ekranu ostaje točno onakva kakva jest, na svakom jeziku.

Stvara li MLDM novu snimku?

Ne. Nema upita i ništa novo se ne izmišlja. MLDM odlučuje kako lokalizirati ono što već postoji: glumac, tempo i scena ostaju, a riječi, glasovni zapis i usne mijenjaju se kako bi odgovarali novom jeziku.

O čemu MLDM odlučuje u zvuku?

Što uopće prevesti. Pronalazi glavni glas i prenosi ga u novi jezik govornikovim vlastitim glasom. Smijeh, žamor publike, povik i govornik u pozadini kojeg nitko ne može razabrati ostaju kakvi su bili.

Mijenja li MLDM izraze lica?

Kad to naglasak ili kultura traži. Usne prate nove riječi u svakom retku; izrazi lica i geste prate ih kad redak na novom jeziku sjeda drukčije. Osoba ostaje točno onakva kakva jest.

Prevodi li MLDM tekst na ekranu?

Još ne. Tekst u kadru, poput zaslona mobitela, korica knjige, uličnog natpisa ili izloga, upravo se uvodi i bit će napisan izrazima koje ste već odabrali; model u hodu odlučuje što ostaje kako je snimljeno, brend, ime, žargon: vrećica čipsa Tostitos ostaje Tostitos. Danas se lokaliziraju riječi, glas, usne, izrazi lica i geste.

Mogu li promijeniti odluku koju je model donio?

Možete. Svaka se odluka bilježi uz zadatak i možete je promijeniti. Danas vaši kreativni direktori biraju između ponuđenih prijevoda, svaki s obrazloženjem, a izbor donesen jednom vrijedi i za sljedeću epizodu.

Pokazuje li model svoje izbore u zvuku i slici?

Izbori u prijevodu prikazuju se već danas. Izbori u zvuku, poput onoga što ostaje na izvornom jeziku, i izbori u slici, poput odabira drugog lica ili teksta u kadru koji treba prevesti, u izradi su.

IZVORI

  1. [1]IBM, What is generative AI?, pročitano 27. listopada 2026.
  2. [2]Naša misija
  3. [3]Familiar: česta pitanja

Multimodalno prevođenje

Familiar Labs gradi generacijski bolju sinkronizaciju pomoću multimodalnog modela odlučivanja o lokalizaciji (MLDM), prvog temeljnog modela za multimodalno prevođenje: jedan model odlučuje što lokalizirati u tekstu, zvuku i slici te vam pokazuje izbore. Vaš glas i vaše usne, preneseni u nove jezike. Tim od 8 ljudi s doktoratima, uz podršku Samsunga, RedBirda i Gold Housea. Naša misija

Pogledajte cijeli benchmark →Razgovarajte s timom