DEFINICIJA

Što je multimodalni temeljni model za lokalizaciju (MLFM)?

FAMILIAR LABS ISTRAŽIVANJEAŽURIRANO SVI ČLANCI
PROČITAJTE NAEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнськаHrvatskiLietuviųSlovenčinaSvenskaБългарскиDanskLatviešu

SAŽETAK

Prvi temeljni model za multimodalno prevođenje, nova paradigma, prva takve vrste. MLFM je jedan model koji odlučuje što lokalizirati i kako, u tekstu, zvuku i slici, i pokazuje vam izbore koji su bitni. Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena zajedno. Odluke se slažu jer ih donosi jedan model. Osoba se nikad ne mijenja.
PRVI TEMELJNI MODEL ZA MULTIMODALNO PREVOĐENJEAUDIOVIZUALNO PREVOĐENJE ODJEDNOM, A NE KASKADNO

O čemu MLFM odlučuje?

TEKST
Kojim prijevodom redak prenijeti u novi jezik. MLFM važe nekoliko mogućih prijevoda i bira najbolji: u šali, priči ili replici u razgovoru jedna riječ mijenja namjeru i emociju. Iste odluke obuhvaćaju terminologiju, ono što ne treba prevoditi, žargon zadržan kako je izgovoren, ime i brend zadržani, referencu zamijenjenu onom koju publika poznaje, ono što ta kultura izbjegava i psovke ublažene za mlađu publiku.
ZVUK
Što uopće prevesti. MLFM čuje sve u zvučnom zapisu: smijeh, žamor publike, povik, govornika u pozadini kojeg nitko ne može razabrati. Pronalazi glavni glas, prenosi ga u novi jezik govornikovim vlastitim glasom, a ostatak ostavlja kakav je bio.
SLIKA
Tko to zapravo govori. O zvuku i slici odlučuje se zajedno, pa MLFM zna tko pripovijeda, tko govori izvan kadra i čije se usne trebaju micati. Usne prate nove riječi u svakom retku, uključujući zaklanjanja i prostorno zaključivanje; izrazi lica i geste prate ih kad to naglasak ili kultura traži.

IZBORI KOJE VIDITE

TEKST
DANASKad se redak može shvatiti na više načina, vaši kreativni direktori dobivaju ponuđene prijevode s obrazloženjem za svaki i biraju jedan. Podcast, epizoda ili film mogu imati mnogo takvih segmenata.
U IZRADI
ZVUK
DANAS
U IZRADIOdabir onoga što ostaje na izvornom jeziku. Skandiranje, uzvik ili fraza mogu ostati kako su izgovoreni kad vi to želite.
SLIKA
DANAS
U IZRADIOdabir drugog lica kad je model izabrao pogrešnog govornika i odabir teksta u kadru koji treba prevesti. Taj tekst, zaslon mobitela, korice knjige, ulični natpis, izlog, bit će napisan izrazima koje ste već odabrali; model u hodu odlučuje što ostaje kako je snimljeno, brend, ime, žargon: vrećica čipsa Tostitos ostaje Tostitos.

Zašto jedan model?

LANAC ALATA

  • Pretvaranje govora u tekst, zatim prijevod, zatim glas, zatim sinkronizacija usana, a svaka se faza podešava zasebno.
  • Taj je lanac omogućio strojnu sinkronizaciju.
  • Svaka faza i dalje nagađa bez ostalih, pa se pogreške gomilaju iz faze u fazu.

JEDAN TEMELJNI MODEL, PRVI TAKVE VRSTE

  • MLFM donosi odluke zajedno.
  • Prijevod zna u koja usta mora sjesti.
  • Glas zna u kojoj se sceni nalazi.
  • Osoba se nikad ne mijenja.
++
Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena izlaze zajedno, iz istih odluka.

Audiovizualno prevođenje odjednom, a ne kaskadno: prvo takve vrste. Zato je MLFM prvi temeljni model za multimodalno prevođenje: jedan model koji riječi, glas, usne i scenu prenosi u novi jezik, sve odjednom. Put do visoke kvalitete danas je pomoćni: tim VFX umjetnika i tjedni rada po projektu, a svaki je jezik novi projekt. Današnji alati koji rade u jednom prolazu brzi su, ali se odriču svega ostalog. Familiar Labs radi u jednom prolazu i donosi kvalitetu.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar Labs is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR LABS CLOSER TO THE REAL SPEAKER

FAMILIAR LABS · ONE SHOT AND THE QUALITYFamiliar Labs vs Flawless TrueSync The ElevenLabs study The demos

Koja je razlika između lokalizacije i prijevoda?

Prijevod su riječi. Lokalizacija je ono što kultura od njih treba.

Prava terminologija, žargon, imena zadržana kako su izgovorena, referenca zamijenjena onom koju publika poznaje, ono što ta kultura izbjegava, razina psovki koja odgovara. MLFM odlučuje o svemu tome, a s vremenom i o slici, kad se i ona mora promijeniti.

Je li MLFM generativni AI?

Nije. IBM ga definira ovako:

Generativni AI, koji se ponekad naziva i gen AI, umjetna je inteligencija (AI) koja može stvarati originalan sadržaj, poput teksta, slika, videa, zvuka ili programskog koda, kao odgovor na korisnikov upit ili zahtjev.
IBM, What is generative AI?

To je snažan alat za stvaranje novih stvari. MLFM nema upita i ništa novo ne izmišlja: odlučuje kako lokalizirati ono što već postoji. Cijelo stajalište pročitajte u tekstovima Zašto Familiar Labs nije generativni AI u tradicionalnom smislu i Prijevod nije generiranje.

Čije su to odluke?

Vaše. Svaka odluka koju MLFM donese bilježi se uz sinkronizaciju, u zapisu odluka.

  1. DANAS

    Vaši kreativni direktori pregledavaju odluke o prijevodu.

    Ponuđene prijevode s obrazloženjem za svaki; biraju jedan prije nego što išta izađe.
  2. DANAS

    Popis Ne prevoditi i kontekst u jednoj rečenici putuju sa zadatkom.

  3. U IZRADI

    Odluke o zvuku i slici, u istom pregledu.

  4. U IZRADI

    Pamćenje odluka.

    Promjena zapamćena za kreatora primjenjuje se prva na sljedećoj sinkronizaciji, pa izbor donesen jednom vrijedi i za sljedeću epizodu.

Cijela priča je u tekstu Zapis odluka; planirani API opisan je u dokumentaciji o odlukama.

PITANJA

Što znači MLFM?

MLFM znači multimodalni temeljni model za lokalizaciju (Multimodal Localization Foundation Model), nova paradigma, prva takve vrste: jedan model koji odlučuje što lokalizirati i kako, u tekstu, zvuku i slici. Bira prijevod retka, što prevesti u zvuku, tko na ekranu govori te kako ga prate usne, izrazi lica i geste.

Je li MLFM video model?

Ne u uobičajenom smislu. MLFM radi na snimci koja već postoji i odlučuje kako je lokalizirati: riječi, glas, usne i izraze lica. Osoba na ekranu ostaje točno onakva kakva jest, na svakom jeziku.

IZVORI

  1. [1]IBM, What is generative AI?, pročitano 27. listopada 2026.
  2. [2]Naša misija
  3. [3]Familiar Labs: česta pitanja

Multimodalno prevođenje

Familiar Labs gradi generacijski bolju sinkronizaciju pomoću multimodalnog temeljnog modela za lokalizaciju (MLFM), prvog temeljnog modela za multimodalno prevođenje: jedan model odlučuje što lokalizirati u tekstu, zvuku i slici te vam pokazuje izbore. Vaš glas i vaše usne, preneseni u nove jezike. Tim od 7 ljudi s doktoratima, uz podršku Samsunga, RedBirda i Gold Housea. Naša misija

Pogledajte cijeli benchmark →Razgovarajte s timom