ISTRAŽIVANJE

Pionirski rad u multimodalnom prevođenju: od združenih audiovizualnih istraživanja do prvog temeljnog modela

FAMILIAR ISTRAŽIVANJEAŽURIRANO SVI ČLANCI
PROČITAJTE NAEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAŽETAK

Tim koji je započeo polje združenih audiovizualnih modela ljudi napravio je prvi temeljni model za multimodalno prevođenje. Familiarov multimodalni model odlučivanja o lokalizaciji (MLDM) prenosi riječi, glas i usne osobe u 30 jezika odjednom, iz snimke na bilo kojem od 99. Ovaj rad prati put od istraživanja do modela: što je tim objavio, zašto je sinkronizacija dosad prolazila kroz zasebne alate, što je novo, što birate danas i što je u izradi.
PRVI TEMELJNI MODEL ZA MULTIMODALNO PREVOĐENJE

Tko je započeo združene audiovizualne modele ljudi?

Sinkronizacija drži samo ako glas i lice ostanu jedna osoba. Familiarovi istraživači doktori su znanosti koji su započeli polje združenih audiovizualnih modela ljudi: njihov rad JAM-Flow, na konferenciji ECCV 2026, prvi je združeni audiovizualni model čovjeka, u kojem su glas i lice osobe koja govori jedan problem.

RADOVI

22

svaki je povezan u pregledu istraživanja

RECENZIRANI

18

na ICLR-u, CVPR-u, ICCV-u, ECCV-u, NeurIPS-u, ICML-u, ACM Multimediji i WACV-u

CITATI

Više od 10,000

rezultat tima od 2021.

SAVJETNICI

2

prof. Xu Zheng i prof. Youngjung Uh

Rad pokriva dijelove koji su multimodalnom prevođenju potrebni: združene audiovizualne modele ljudi, brze video modele, uređivanje i multimodalnu percepciju. Svaki rad i konferencija navedeni su u pregledu našeg istraživanja. Razlog je osoban: An Zhu Liu, izvršni direktor, kao dijete nije mogao razgovarati sa školskim kolegama na engleskom i naučio ga je s televizije, a ta je priča ispričana na stranici naše misije.

Zašto je sinkronizacija prolazila kroz zasebne alate?

Zato što je svaki dio najprije riješen zasebno. Strojna sinkronizacija stigla je kao lanac, a upravo ju je taj lanac uopće omogućio. Postavio joj je i granicu, a alati nastali od tada i dalje mijenjaju kvalitetu za vrijeme. Pomoćni alati do kvalitete dolaze uz tim VFX umjetnika i tjedne rada po projektu, s novim projektom za svaki jezik. Alati koji rade u jednom prolazu brzi su, ali se odriču svega ostalog: usne im zakažu uz ruku preko lica, mikrofon, zamućenje, bokeh, bočni kadar ili više ljudi u kadru, bez prostornog zaključivanja i bez razumijevanja svijeta. Familiar radi u jednom prolazu i donosi kvalitetu.

DOBA KASKADE

  • Transkripcija, zatim prijevod, zatim glas, zatim sinkronizacija usana.
  • Svaki alat nagađa bez ostalih.
  • Tuđi glas preko lica koje mu više ne odgovara.

JEDAN TEMELJNI MODEL

  • Riječi, glas, usne i scena, preneseni odjednom.
  • Prijevod zna u koja usta mora sjesti.
  • Glas zna u kojoj se sceni nalazi.
  • Osoba se nikad ne mijenja.
++
Familiar je prvi temeljni model za multimodalno prevođenje: jedan model koji riječi, glas, usne i scenu prenosi u novi jezik, sve odjednom.

Usporedba korak po korak je u tekstu Audiovizualno prevođenje odjednom, a ne kaskadno; definicija u tekstu Prvi temeljni model za multimodalno prevođenje.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Što ovdje znači pionirski?

Audiovizualno prevođenje odjednom, a ne kaskadno: prvo takve vrste.

Tri stvari, prvi put zajedno. Prva je zvuk i slika preneseni u novi jezik odjednom, jednim modelom, pa se odluke slažu: glas je glumčev vlastiti, usne prate nove riječi, a smijeh, žamor publike i glazba ostaju gdje su bili.

Druga je redoslijed. Najprije prijevod, a zatim sinkronizacija u jednom prolazu: glas, usne i scena zajedno. Riječi su dogovorene, i pregledali su ih vaši kreativni direktori, prije nego što ih itko izgovori.

Treća je zapis. Svaka odluka koju MLDM donese bilježi se uz zadatak i bilo koju od njih možete promijeniti. Cijeli prikaz je u tekstu Zapis odluka: kako kreativni direktori usmjeravaju MLDM; što je MLDM, u radu s definicijom.

O čemu model odlučuje, a što birate vi?

Istraživački rezultat postaje proizvod kad ljudi koji ga koriste ostaju u upravljačkoj ulozi. MLDM za zamorni dio posla. Kreativne odluke ostaju vaše.

ODLUČUJE MLDM | BIRATE VI

TEKST
MLDM ODLUČUJEKojim prijevodom prenijeti svaki redak: terminologija, žargon zadržan kako je izgovoren, imena i brendovi, referenca koju publika poznaje.
VI BIRATEDanas: prijevod, iz opcija s obrazloženjem za svaku.
ZVUK
MLDM ODLUČUJEŠto uopće prevesti: glavni glas, prenesen govornikovim vlastitim glasom; ostatak ostavljen kakav je bio.
VI BIRATEU izradi: što ostaje na izvornom jeziku.
SLIKA
MLDM ODLUČUJETko zapravo govori te kako usne i izrazi lica prate nove riječi.
VI BIRATEU izradi: drugo lice kad je model izabrao pogrešnog govornika i odabir teksta u kadru koji treba prevesti.

Što je još u izradi?

Pionirski znači prva verzija, a ne posljednja. Izbori u prijevodu otvoreni su danas; ostatak zapisa otvara se postupno.

  1. DANAS

    Vaši kreativni direktori pregledavaju odluke o prijevodu.

    Ponuđene prijevode s obrazloženjem za svaki; popis Ne prevoditi i kontekst u jednoj rečenici putuju sa zadatkom.
  2. U IZRADI

    Odluke o zvuku i slici, u istom pregledu.

  3. U IZRADI

    Tekst u kadru.

    Zaslon mobitela, korice knjige, ulični natpis, napisani izrazima koje ste već odabrali; brend ili ime ostaju kako su snimljeni, odlučeno u hodu: vrećica čipsa Tostitos ostaje Tostitos.
  4. U IZRADI

    Sinkronizacija uživo.

Što to mijenja za ljude na ekranu?

Ljudska sinkronizacija većini je svijeta nedostižna. Čak i vrhunske produkcije sinkroniziraju na tek nekoliko jezika, zbog troška, ljudi i vremena koje treba; manje produkcije, serije i vertikalne drame uglavnom se uopće ne sinkroniziraju. Temeljni model za multimodalno prevođenje svakoj od njih daje istu izvedbu na drugom jeziku: glumčev glas, usne i izraze lica na 30 jezika, isporučene do 4K s pravim 5.1 surround ili stereo miksom u 24-bitnom PCM-u (izlazne datoteke).

Svaka se sinkronizacija obrađuje na klasteru GPU-a NVIDIA B300 vrijednom desetke milijuna dolara, u Torontu, na vlastitoj računalnoj snazi, nikad u javnom oblaku. Pojedinosti su u dokumentaciji o privatnoj obradi.
PRIVATNA OBRADA · TORONTO, KANADA

Prijevod postiže 100.3% kvalitete stručnog ljudskog prijevoda, što je izjednačenje; studije su na /benchmark. Ne „generativni AI“, nego prijevod u službi kreativaca. Od čovjeka do čovjeka, za sve širu publiku. Što to znači za katalog, opisano je u radu za studije i platforme.

PITANJA

Tko je napravio Familiarov temeljni model?

Tim od 8 ljudi s doktoratima koji su započeli polje združenih audiovizualnih modela ljudi: 22 rada, od kojih je 18 recenzirano, i više od 10,000 citata. Savjetnici su prof. Xu Zheng i prof. Youngjung Uh. Familiar podupiru Samsung, RedBird i Gold House.

Što je temeljni model za multimodalno prevođenje?

Jedan model koji riječi, glas, usne i scenu prenosi u novi jezik, sve odjednom. Familiarov multimodalni model odlučivanja o lokalizaciji (MLDM) prvi je takve vrste: odlučuje što lokalizirati u tekstu, zvuku i slici i svaku odluku bilježi uz zadatak.

Što znači „ne kaskadno”?

Strojna sinkronizacija nekad je video provlačila kroz zasebne alate: transkripciju, zatim prijevod, zatim glas, zatim sinkronizaciju usana, a svaki je nagađao bez ostalih. Familiar zvuk i sliku prenosi u novi jezik odjednom, pa se odluke slažu, a osoba se nikad ne mijenja.

Je li Familiar generativni AI?

Ne u tradicionalnom smislu. Nema upita i ništa novo se ne izmišlja: glumac, tempo i scena ostaju, a riječi, glas i usne prelaze u novi jezik. Ne „generativni AI“, nego prijevod u službi kreativaca.

Što mogu birati danas?

Prijevod. Kad se redak može shvatiti na više načina, vaši kreativni direktori vide ponuđene prijevode s obrazloženjem za svaki i biraju jedan, prije nego što se išta izgovori. Izbori u zvuku, izbori u slici i tekst u kadru u izradi su.

IZVORI

  1. [1]JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching (ECCV 2026)
  2. [2]Objavljena istraživanja tima
  3. [3]Multimodalni model odlučivanja o lokalizaciji (MLDM)
  4. [4]Zapis odluka
  5. [5]Familiarovi benchmarkovi
  6. [6]Naša misija

Multimodalno prevođenje

Familiar Labs gradi generacijski bolju sinkronizaciju pomoću multimodalnog modela odlučivanja o lokalizaciji (MLDM), prvog temeljnog modela za multimodalno prevođenje: jedan model odlučuje što lokalizirati u tekstu, zvuku i slici te vam pokazuje izbore. Vaš glas i vaše usne, preneseni u nove jezike. Tim od 8 ljudi s doktoratima, uz podršku Samsunga, RedBirda i Gold Housea. Naša misija

Pogledajte cijeli benchmark →Razgovarajte s timom