KONTROLE

Saglabātie lēmumi: kā radošie direktori vada MLDM

FAMILIAR PĒTNIECĪBAATJAUNINĀTS VISI RAKSTI

KOPSAVILKUMS

MLDM ir pirmais multimodālās tulkošanas pamatmodelis, jauna paradigma, pirmā savā veidā. Katrs tā lēmums tiek saglabāts kopā ar dublējumu: jūs to izlasāt, maināt un paturat izvēli nākamajai sērijai. Tulkojuma lēmumus pārskata jau šodien; audio un attēla lēmumi ir izstrādē.
PIRMAIS MULTIMODĀLĀS TULKOŠANAS PAMATMODELIS

Lēmumi, ko jūs vadāt jau šodien

  1. 01

    Vispirms atgriežas tulkojums.

  2. 02

    Ja repliku var uztvert dažādi, pārskatīšanas solis atgriež trīs atveidojumus, katru citam nodomam un emocijai, un katram pievienots pamatojums.

  3. 03

    Jūsu radošie direktori izvēlas vienu vai uzraksta savu, tad dublējums tiek renderēts.

Tā pati pārskatīšana aptver lokalizācijas lēmumus, sākot ar to, ko netulkot: slengs atstāts, kā sacīts, īpašvārds un zīmols paturēti, atsauce nomainīta pret tādu, ko skatītāji pazīst, ievērots tas, no kā šī kultūra izvairās, un rupjības mazinātas versijai jaunākiem skatītājiem.

Vārdu spēle, no korejiešu uz angļu valodu

"사과하려고 사과 사 왔어." balstās uz to, ka 사과 nozīmē gan atvainošanos, gan ābolu. Atgriežas trīs atveidojumi:

  • "Apples. I'm sorry, right down to the core." Vārdu spēle saglabāta.
  • "I came to say sorry. I brought apples." Tikai nozīme.
  • "An apple a day keeps the silent treatment away." Jauns joks.

Radošais direktors izvēlējās pirmo un to pielaboja.

Dzēlīga piezīme, no ķīniešu uz angļu valodu

"你可真行啊。" atkarībā no ainas izklausās kā uzslava vai kā dzēlība:

  • "Wow. You're incredible." Patiesi.
  • "Well, aren't you something." Sarkastiski, izvēlētais.
  • "Look at you, hotshot." Ķircinoši.

Podkāstā, sērijā vai filmā šādu fragmentu ir daudz: joki, sarunas, stāsti.

Audio lēmumi

MLDM izlemj, ko vispār tulkot. Tas atrod galveno balsi, pārnes to jaunajā valodā runātāja paša balsī un pārējo atstāj, kā bija. Katra robežgadījuma parādīšana jūsu komandai audio celiņā ir izstrādē.

Kas paliek oriģinālvalodā: stadiona skandējums, atstāts korejiski; kliedziens pāri virtuvei; frāze, ko fani zina. Runātājs fonā, kuru neviens nespēj saklausīt, paliek, kā bija, vai atgriežas kā izvēle tomēr to tulkot.

Attēla lēmumi

IZSTRĀDĒ

KURŠ TO PATIESĪBĀ SAKA
KAS TIEK SAGLABĀTSSeja, no kuras skan replika, stāstītājs, balss aiz kadra.
KO JŪS VARAT DARĪTJa modelis izvēlas nepareizo runātāju, jūs izvēlaties seju no kandidātiem, un lūpas kustas pareizajam cilvēkam.
TEKSTS KADRĀ
KAS TIEK SAGLABĀTSTelefona ekrāns ar uzrakstu 내일 봐, ielas norāde, veikala izkārtne un tas, ko modelis uzreiz atstāja, kā nofilmēts: zīmols uz Tostitos paciņas, īpašvārds.
KO JŪS VARAT DARĪTKatrs elements tiek uzrakstīts jūsu jau izvēlētajos terminos, piemēram, "See you tomorrow", vai atstāts, kā nofilmēts.
SEJAS IZTEIKSMES UN ŽESTI
KAS TIEK SAGLABĀTSTās seko jaunās replikas uzsvaram vai kultūrai.
KO JŪS VARAT DARĪTUzacu pacēlumu, ko jaunā auditorija uztver citādi, var atstāt, kā nofilmēts.

Saglabāts kopā ar dublējumu

Tieši saglabātie lēmumi padara MLDM par jaunu paradigmu, pirmo savā veidā: modeli, kas parāda savus lēmumus.

++
Saglabātie lēmumi, kas ir izstrādē, glabā katru lēmumu ar tā variantiem, pamatojumu, izvēlēto un to, kurš izvēlējās: modelis, jūs vai atmiņa.

Pārskatīšanas laikā tie ir atvērti, un renderējot tie tiek fiksēti. Mainiet lēmumu jau piegādātā dublējumā un renderējiet vēlreiz; atkārtoti tiek renderētas tikai tās valodas, kuras tas skar. Arī dublējums, kas renderēts ar review=auto, saglabā lēmumus ar modeļa izvēlēm. Pats dublējums top vienā piegājienā no šiem lēmumiem: balss, lūpas un aina kopā. Rīki, kas šodien dublē vienā piegājienā, strādā otrādi: augšupielādējiet vienreiz; jāņem tas, kas iznāk. Augstas kvalitātes ceļš kontroli patur ar rokām: asistējošs rīks, VFX mākslinieku komanda un nedēļas katram projektam. Familiar ir viens piegājiens un kvalitāte.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Reiz izdarīta izvēle attiecas arī uz nākamo sēriju

  1. ŠODIEN

    Divi pastāvīgi lēmumi darbojas jau šodien.

    „Netulkot” patur frāzi, kā sacīts, un konteksts sniedz viena teikuma ievadu; abus jūs iestatāt pirms dublāžas. Saglabātajos lēmumos ir tas, ko modelis izlēma tās laikā.
  2. IZSTRĀDĒ

    Lēmumu atmiņa.

    Iegaumējiet izmaiņu veidotājam (vienam šovam, kanālam vai cilvēkam), un nākamais dublējums to piemēros vispirms, kad atgriezīsies tā pati replika, termins, īpašvārds, skandējums, norāde vai seja. Oriģinālvalodā atstātā frāze pāriet uz 2. sēriju bez atkārtotas pārskatīšanas.

Pārskatīšanas ekrānā un API

Izstrādē: pārskatīšanas ekrānam pievienojas lēmumu josla. Sērijas laika joslā katram lēmumam ir atzīme, ko var filtrēt pēc tulkojuma, audio vai attēla; katrā kartītē redzams brīdis, varianti ar pamatojumu un izgaismota modeļa izvēle. Ar vienu pieskārienu var izvēlēties citu variantu, ierakstīt savu, atstāt oriģinālu vai iegaumēt izvēli šim veidotājam.

API atgriež tos pašus saglabātos lēmumus, tāpēc ekrānā izdarīta izvēle redzama API un otrādi. Plānotā saskarne, viss izstrādē:

GET /v1/dubs/{dub_id}/decisions
KO TAS DARANolasa saglabātos lēmumus.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
KO TAS DARAMaina vienu lēmumu.
decisions.*
KO TAS DARAJauna dublējuma iestatījumi nosaka, cik atveidojumu atgriežas, rupjību līmeni un kuri lēmumi atgriežas pie jums.
dub.decisions_ready
KO TAS DARAWebhook nostrādā, kad saglabātie lēmumi ir atvērti.
decisions.json
KO TAS DARASatur visus saglabātos lēmumus ar katru piegādāto dublējumu.

Atsauce: Lēmumi; šodienas pārskatīšanas solis: Transkripts un pārskatīšana.

JAUTĀJUMI

Kurus lēmumus varu mainīt jau šodien?

Tulkojuma lēmumus. Replika, ko var uztvert dažādi, atgriežas trīs atveidojumos, katrs ar pamatojumu; jūsu radošie direktori izvēlas vienu vai uzraksta savu, tad dublējums tiek renderēts. Audio un attēla lēmumi ir izstrādē.

Vai varu atstāt skandējumu oriģinālvalodā?

Šī izvēle ir izstrādē. Stadiona skandējums, kliedziens vai frāze atgriezīsies kā audio lēmums, ko varat atstāt avota valodā, un izvēle var attiekties arī uz nākamo sēriju.

Ko darīt, ja modelis izvēlējās nepareizo seju?

Citas sejas izvēle ir izstrādē. Replika atgriezīsies ar kandidātu sejām; jūs izvēlaties pareizo runātāju, un lūpas kustas šim cilvēkam.

Vai izvēle pāriet uz nākamo sēriju?

Lēmumu atmiņa ir izstrādē: veidotājam iegaumēta izmaiņa tiek piemērota jau nākamajā dublējumā. Šodien „Netulkot” un konteksts attiecas uz visiem dublējumiem, kuriem tos iestatāt.

Vai review=auto joprojām saglabā lēmumus?

Jā. Plānotajā versijā arī dublējums, kas renderēts bez pārskatīšanas, saglabā katru lēmumu ar modeļa izvēli, un pēc renderēšanas to var izlasīt. Jūs varat kādu mainīt un renderēt vēlreiz.

Vai tas ir ģeneratīvais MI?

Nē. MLDM ir jauna paradigma, pirmā savā veidā. Nav uzvednes, un nekas jauns netiek izdomāts: tas izlemj, kā lokalizēt to, kas jau ir, un parāda jums šos lēmumus.

ATSAUCES

  1. [1]Kas ir multimodāls lokalizācijas lēmumu modelis (MLDM)?
  2. [2]API: Lēmumi
  3. [3]API: Transkripts un pārskatīšana

Multimodālā tulkošana

Familiar Labs veido par paaudzi labāku dublāžu ar multimodālu lokalizācijas lēmumu modeli (MLDM), pirmo multimodālās tulkošanas pamatmodeli: viens modelis izlemj, ko lokalizēt tekstā, audio un attēlā, un parāda jums izvēles. Jūsu balss un lūpas, pārnestas jaunās valodās. 8 cilvēku komanda ar PhD, ko atbalsta Samsung, RedBird un Gold House. Mūsu misija