KONTROLA

Zapis odluka: kako kreativni direktori usmjeravaju MLDM

FAMILIAR ISTRAŽIVANJEAŽURIRANO SVI ČLANCI
PROČITAJTE NAEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

SAŽETAK

MLDM je prvi temeljni model za multimodalno prevođenje, nova paradigma, prva takve vrste. Svaka odluka koju donese bilježi se uz sinkronizaciju: čitate je, mijenjate je i zadržavate izbor za sljedeću epizodu. Odluke o prijevodu pregledavaju se već danas; one o zvuku i slici u izradi su.
PRVI TEMELJNI MODEL ZA MULTIMODALNO PREVOĐENJE

Odluke koje danas usmjeravate

  1. 01

    Prijevod stiže prvi.

  2. 02

    Kad se redak može shvatiti na više načina, korak pregleda vraća tri prijevoda, svaki za drukčiju namjeru i emociju, uz obrazloženje za svaki.

  3. 03

    Vaši kreativni direktori biraju jedan ili pišu vlastiti, a zatim pokreću render.

Isti pregled obuhvaća i odluke o lokalizaciji, a prva je što ne prevoditi: žargon zadržan kako je izgovoren, ime i brend zadržani, referenca zamijenjena onom koju publika poznaje, ono što ta kultura izbjegava i psovke ublažene za mlađu publiku.

Igra riječi, s korejskog na engleski

„사과하려고 사과 사 왔어.” počiva na tome da 사과 znači i ispriku i jabuku. Vraćaju se tri prijevoda:

  • „Apples. I'm sorry, right down to the core.” Igra riječi zadržana.
  • „I came to say sorry. I brought apples.” Samo značenje.
  • „An apple a day keeps the silent treatment away.” Nova šala.

Kreativni direktor odabrao je prvi i doradio ga.

Žaoka, s kineskog na engleski

„你可真行啊。” zvuči kao pohvala ili kao žaoka, ovisno o sceni:

  • „Wow. You're incredible.” Iskreno.
  • „Well, aren't you something.” Sarkastično, odabrana opcija.
  • „Look at you, hotshot.” Peckanje.

Podcast, epizoda ili film nose mnogo takvih segmenata: šale, razgovore, priče.

Odluke o zvuku

MLDM odlučuje što uopće prevesti. Pronalazi glavni glas, prenosi ga u novi jezik govornikovim vlastitim glasom, a ostatak ostavlja kakav je bio. Prikaz svake tijesne odluke u zvuku vašem timu u izradi je.

Što ostaje na izvornom jeziku: skandiranje sa stadiona, zadržano na korejskom; povik preko kuhinje; uzrečica koju obožavatelji znaju. Govornik u pozadini kojeg nitko ne može razabrati ostaje kakav je bio ili se vraća kao izbor da ga se ipak prevede.

Odluke o slici

U IZRADI

TKO TO ZAPRAVO GOVORI
ŠTO SE BILJEŽILice iz kojeg se redak čuje, pripovjedač, glas izvan kadra.
ŠTO MOŽETE UČINITIKad model izabere pogrešnog govornika, vi birate lice među kandidatima, a usne se miču na pravoj osobi.
TEKST U KADRU
ŠTO SE BILJEŽIZaslon mobitela na kojem piše 내일 봐, ulični natpis, izlog i ono što je u hodu zadržao kako je snimljeno: brend na vrećici čipsa Tostitos, ime.
ŠTO MOŽETE UČINITISvaka se stavka piše izrazima koje ste već odabrali, kao „See you tomorrow”, ili ostaje kako je snimljena.
IZRAZI LICA I GESTE
ŠTO SE BILJEŽIPrate naglasak novog retka ili kulturu.
ŠTO MOŽETE UČINITIPodignuta obrva koju nova publika čita drukčije može ostati kako je snimljena.

Zabilježeno uz sinkronizaciju

Zapis je ono što MLDM čini novom paradigmom, prvom takve vrste: model koji pokazuje svoje odluke.

++
Zapis odluka, u izradi, čuva svaku odluku s opcijama, obrazloženjem, onim što je odabrano i tko je odabrao: model, vi ili pamćenje.

Otvoren je tijekom pregleda i zaključava se pri renderu. Promijenite odluku na isporučenoj sinkronizaciji i ponovno pokrenite render; iznova se renderiraju samo jezici na koje odluka utječe. Sinkronizacija renderirana uz review=auto i dalje ispisuje zapis, s izborima modela. Sama sinkronizacija nastaje u jednom prolazu iz tih odluka: glas, usne i scena zajedno. Današnji alati koji rade u jednom prolazu rade obrnuto: jedan prijenos, dobivate što god izađe. Put do visoke kvalitete umjesto toga zadržava kontrolu ručno, pomoćnim alatom, timom VFX umjetnika i tjednima rada po projektu. Familiar radi u jednom prolazu i donosi kvalitetu.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Izbor donesen jednom vrijedi i za sljedeću epizodu

  1. DANAS

    Dvije trajne odluke rade već danas.

    Popis Ne prevoditi zadržava frazu kako je izgovorena, a kontekst daje sažetak u jednoj rečenici; oboje postavljate prije sinkronizacije. Zapis čuva odluke koje je model donio tijekom nje.
  2. U IZRADI

    Pamćenje odluka.

    Zapamtite promjenu za kreatora, jednu emisiju, kanal ili osobu, i sljedeća sinkronizacija primijenit će je prva kad se vrati isti redak, izraz, ime, skandiranje, natpis ili lice. Uzrečica zadržana na izvorniku prelazi u 2. epizodu bez drugog pregleda.

Na zaslonu za pregled i u API-ju

U izradi: zaslon za pregled dobiva traku s odlukama. Vremenska crta epizode nosi oznaku za svaku odluku, s filtrom za prijevod, zvuk ili sliku; svaka kartica prikazuje trenutak, opcije s obrazloženjem i istaknuti izbor modela. Jednim dodirom birate drugu opciju, upisujete vlastitu, zadržavate izvornik ili pamtite izbor za ovog kreatora.

API vraća isti zapis, pa se izbor napravljen na zaslonu vidi u API-ju i obrnuto. Planirano sučelje, sve u izradi:

GET /v1/dubs/{dub_id}/decisions
ŠTO RADIČita zapis.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
ŠTO RADIMijenja jednu odluku.
decisions.*
ŠTO RADIPostavke nove sinkronizacije određuju koliko se prijevoda vraća, razinu psovki i koje se odluke vraćaju vama.
dub.decisions_ready
ŠTO RADIWebhook se okida kad je zapis otvoren.
decisions.json
ŠTO RADINosi cijeli zapis uz svaku isporučenu sinkronizaciju.

Referenca je na stranici Odluke; današnji korak pregleda opisan je na stranici Transkript i pregled.

PITANJA

Koje odluke danas mogu promijeniti?

Odluke o prijevodu. Redak koji se može shvatiti na više načina vraća se kao tri prijevoda, svaki s obrazloženjem; vaši kreativni direktori biraju jedan ili pišu vlastiti, a zatim pokreću render. Odluke o zvuku i slici u izradi su.

Mogu li skandiranje zadržati na izvornom jeziku?

Taj je izbor u izradi. Skandiranje sa stadiona, povik ili uzrečica vraćat će se kao odluka o zvuku koju možete zadržati na izvornom jeziku, a izbor može vrijediti i za sljedeću epizodu.

Što ako je model izabrao pogrešno lice?

Odabir drugog lica je u izradi. Redak će se vratiti s licima kandidata; vi birate pravog govornika, a usne se miču na toj osobi.

Prenosi li se izbor na sljedeću epizodu?

Pamćenje odluka je u izradi: promjena zapamćena za kreatora primjenjuje se prva na sljedećoj sinkronizaciji. Danas se popis Ne prevoditi i kontekst prenose na sve sinkronizacije za koje ste ih postavili.

Bilježi li review=auto i dalje odluke?

Bilježi. U planiranom zapisu sinkronizacija renderirana bez pregleda i dalje ispisuje svaku odluku s izborom modela, čitljivu nakon rendera. Jednu možete promijeniti i ponovno pokrenuti render.

Je li ovo generativni AI?

Nije. MLDM je nova paradigma, prva takve vrste. Nema upita i ništa novo se ne izmišlja: odlučuje kako lokalizirati ono što već postoji i pokazuje vam te odluke.

IZVORI

  1. [1]Što je multimodalni model odlučivanja o lokalizaciji (MLDM)?
  2. [2]API: Odluke
  3. [3]API: Transkript i pregled

Multimodalno prevođenje

Familiar Labs gradi generacijski bolju sinkronizaciju pomoću multimodalnog modela odlučivanja o lokalizaciji (MLDM), prvog temeljnog modela za multimodalno prevođenje: jedan model odlučuje što lokalizirati u tekstu, zvuku i slici te vam pokazuje izbore. Vaš glas i vaše usne, preneseni u nove jezike. Tim od 8 ljudi s doktoratima, uz podršku Samsunga, RedBirda i Gold Housea. Naša misija

Pogledajte cijeli benchmark →Razgovarajte s timom