KONTROLĖ

Sprendimų įrašas: kaip kūrybos direktoriai valdo MLDM

FAMILIAR TYRIMAIATNAUJINTA VISI STRAIPSNIAI

SANTRAUKA

MLDM – tai pirmasis pamatinis multimodalinio vertimo modelis, nauja paradigma, pirmoji tokio pobūdžio. Kiekvienas jo priimtas sprendimas įrašomas kartu su dubliažu: jūs jį perskaitote, pakeičiate ir išsaugote pasirinkimą kitai serijai. Vertimo sprendimai peržiūrimi jau šiandien; garso ir vaizdo sprendimai jau kuriami.
PIRMASIS PAMATINIS MULTIMODALINIO VERTIMO MODELIS

Sprendimai, kuriuos valdote jau šiandien

  1. 01

    Pirmiausia grįžta vertimas.

  2. 02

    Kur repliką galima perteikti ne vienu būdu, peržiūros etapas pateikia tris variantus, kiekvieną kitokiam ketinimui ir emocijai, su kiekvieno pagrindimu.

  3. 03

    Jūsų kūrybos direktoriai išsirenka vieną arba parašo savo, tada dubliažas atliekamas.

Ta pati peržiūra apima ir lokalizavimo sprendimus, pirmiausia tai, ko neversti: slengas paliekamas, kaip pasakyta, vardas ir prekės ženklas paliekami, kultūrinė nuoroda pakeičiama tokia, kurią žiūrovai atpažįsta, apeinama tai, ko ta kultūra vengia, o keiksmažodžiai sušvelninami jaunesnei auditorijai skirtai versijai.

Žodžių žaismas: iš korėjiečių į anglų

„사과하려고 사과 사 왔어.“ remiasi tuo, kad 사과 reiškia ir atsiprašymą, ir obuolį. Grįžta trys variantai:

  • „Apples. I'm sorry, right down to the core.“ Žodžių žaismas išsaugotas.
  • „I came to say sorry. I brought apples.“ Tik prasmė.
  • „An apple a day keeps the silent treatment away.“ Naujas juokelis.

Kūrybos direktorius pasirinko pirmąjį ir jį pataisė.

Įgėlimas: iš kinų į anglų

„你可真行啊。“ gali nuskambėti kaip pagyrimas arba kaip įgėlimas, priklausomai nuo scenos:

  • „Wow. You're incredible.“ Nuoširdžiai.
  • „Well, aren't you something.“ Sarkastiškai, pasirinktas variantas.
  • „Look at you, hotshot.“ Erzinant.

Tinklalaidėje, serijoje ar filme tokių atkarpų būna daug: juokeliai, pokalbiai, istorijos.

Garso sprendimai

MLDM sprendžia, ką apskritai versti. Jis randa pagrindinį balsą, perkelia jį į naują kalbą paties kalbėtojo balsu, o visa kita palieka, kaip buvo. Galimybė parodyti jūsų komandai kiekvieną garso sprendimą, kuris buvo ant ribos, jau kuriama.

Kas lieka originalo kalba: stadiono skanduotė, palikta korėjiečių kalba; šūksnis per visą virtuvę; gerbėjams žinoma firminė frazė. Fone kalbantis žmogus, kurio niekas neišskiria, lieka, kaip buvo, arba grįžta kaip pasirinkimas vis dėlto jį išversti.

Vaizdo sprendimai

JAU KURIAMA

KAS IŠ TIKRŲJŲ TAI SAKO
KAS ĮRAŠOMAVeidas, iš kurio girdima replika, pasakotojas, balsas už kadro.
KĄ GALITE PADARYTIKai modelis parenka ne tą kalbėtoją, jūs pasirenkate veidą iš kandidatų, ir lūpos juda tinkamam žmogui.
TEKSTAS KADRE
KAS ĮRAŠOMATelefono ekranas su užrašu 내일 봐, gatvės lentelė, parduotuvės iškaba ir tai, ką modelis iš karto paliko taip, kaip nufilmuota: prekės ženklas ant Tostitos pakelio, vardas.
KĄ GALITE PADARYTIKiekvienas elementas užrašomas jūsų jau pasirinktais terminais, pavyzdžiui, „See you tomorrow“, arba paliekamas toks, koks nufilmuotas.
VEIDO IŠRAIŠKOS IR GESTAI
KAS ĮRAŠOMAJie seka naujos replikos akcentą arba kultūrą.
KĄ GALITE PADARYTIAntakių kilstelėjimą, kurį nauja auditorija suprastų kitaip, galima palikti tokį, koks nufilmuotas.

Įrašoma kartu su dubliažu

Būtent įrašas daro MLDM nauja paradigma, pirmąja tokio pobūdžio: modeliu, kuris parodo savo sprendimus.

++
Sprendimų įraše, kuris jau kuriamas, saugomas kiekvienas sprendimas su variantais, pagrindimu, tuo, kas pasirinkta, ir kas pasirinko: modelis, jūs ar atmintis.

Jis atviras peržiūros metu ir užrakinamas atliekant dubliažą. Pakeiskite sprendimą jau pristatytame dubliaže ir atlikite jį iš naujo; iš naujo atliekamos tik tos kalbos, kurias pakeitimas paliečia. Dubliažas, atliktas su review=auto, taip pat sukuria įrašą su modelio pasirinkimais. Pats dubliažas iš tų sprendimų atliekamas vienu ypu: balsas, lūpos ir scena kartu. Šiandieniai vieno ypo įrankiai veikia atvirkščiai: įkeliate vieną kartą ir gaunate tai, kas išeina. Aukštos kokybės kelias kontrolę išlaiko rankomis: su pagalbiniu įrankiu, VFX specialistų komanda ir keliomis savaitėmis kiekvienam projektui. „Familiar“ – tai vienas ypas ir kokybė.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Kartą priimtas pasirinkimas pereina į kitą seriją

  1. ŠIANDIEN

    Du nuolatiniai sprendimai veikia jau šiandien.

    Neverčiamų žodžių sąrašas palieka frazę, kaip pasakyta, o kontekstas suteikia vieno sakinio aprašą; abu nustatote prieš dubliažą. Įraše saugomi sprendimai, kuriuos modelis priėmė jo metu.
  2. JAU KURIAMA

    Sprendimų atmintis.

    Įsiminkite pakeitimą kūrėjui, vienai laidai, kanalui ar žmogui, ir kitas dubliažas jį pritaikys pirmiausia, kai vėl pasirodys ta pati replika, terminas, vardas, skanduotė, užrašas ar veidas. Originalo kalba palikta firminė frazė pereis į 2 seriją be antros peržiūros.

Peržiūros ekrane ir API

Jau kuriama: peržiūros ekrane atsiras sprendimų juosta. Serijos laiko juostoje kiekvienas sprendimas pažymėtas žyma, filtruojama pagal vertimą, garsą ar vaizdą; kiekvienoje kortelėje matyti akimirka, variantai su pagrindimu ir paryškintas modelio pasirinkimas. Vienu paspaudimu galima pasirinkti kitą variantą, įrašyti savo, palikti originalą arba įsiminti pasirinkimą šiam kūrėjui.

API grąžina tą patį įrašą, todėl ekrane priimtas pasirinkimas matomas API ir atvirkščiai. Planuojama sąsaja, visa jau kuriama:

GET /v1/dubs/{dub_id}/decisions
KĄ DARONuskaito įrašą.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
KĄ DAROPakeičia vieną sprendimą.
decisions.*
KĄ DARONaujo dubliažo nustatymai nurodo, kiek variantų grįžta, keiksmažodžių lygį ir kurie sprendimai grąžinami jums.
dub.decisions_ready
KĄ DAROWebhook iškviečiamas, kai įrašas atidaromas.
decisions.json
KĄ DAROSu kiekvienu pristatytu dubliažu pateikiamas visas įrašas.

Dokumentacija – Decisions; šiandieninis peržiūros etapas – Transcript & review.

KLAUSIMAI

Kuriuos sprendimus galiu keisti jau šiandien?

Vertimo sprendimus. Replika, kurią galima perteikti ne vienu būdu, grįžta trimis variantais, kurių kiekvienas turi pagrindimą; jūsų kūrybos direktoriai išsirenka vieną arba parašo savo, tada dubliažas atliekamas. Garso ir vaizdo sprendimai jau kuriami.

Ar galiu skanduotę palikti originalo kalba?

Šis pasirinkimas jau kuriamas. Stadiono skanduotė, šūksnis ar firminė frazė grįš kaip garso sprendimas, kurį galėsite palikti originalo kalba, o pasirinkimas galės pereiti į kitą seriją.

O jei modelis parinko ne tą veidą?

Galimybė pasirinkti kitą veidą jau kuriama. Replika grįš su veidų kandidatais; jūs pasirenkate tinkamą kalbėtoją, ir lūpos juda tam žmogui.

Ar pasirinkimas pereina į kitą seriją?

Sprendimų atmintis jau kuriama: kūrėjui įsimintas pakeitimas pirmiausia pritaikomas kitame dubliaže. Šiandien neverčiamų žodžių sąrašas ir kontekstas galioja tiems dubliažams, kuriems juos nustatote.

Ar su review=auto sprendimai vis tiek įrašomi?

Taip. Planuojamame įraše dubliažas, atliktas be peržiūros, vis tiek įrašo kiekvieną sprendimą su modelio pasirinkimu, kurį galima perskaityti po atlikimo. Galite vieną jų pakeisti ir atlikti dubliažą iš naujo.

Ar tai generatyvinis DI?

Ne. MLDM yra nauja paradigma, pirmoji tokio pobūdžio. Užklausos nėra, ir nieko naujo neišgalvojama: jis sprendžia, kaip lokalizuoti tai, kas jau yra, ir parodo jums tuos sprendimus.

ŠALTINIAI

  1. [1]Kas yra multimodalinis lokalizavimo sprendimų modelis (MLDM)?
  2. [2]API: Decisions
  3. [3]API: Transcript & review

Multimodalinis vertimas

„Familiar Labs“ kuria naujos kartos dubliažą, pasitelkdama multimodalinį lokalizavimo sprendimų modelį (MLDM), pirmąjį pamatinį multimodalinio vertimo modelį: vienas modelis sprendžia, ką lokalizuoti tekste, garse ir vaizde, ir parodo jums pasirinkimus. Jūsų balsas ir lūpos, perkelti į naujas kalbas. Tai 8 žmonių komanda su mokslų daktarais, kurią remia „Samsung“, „RedBird“ ir „Gold House“. Mūsų misija