KENDALI

Catatan Keputusan: Cara Creative Director Mengarahkan MLDM

RISET FAMILIARDIPERBARUI SEMUA ARTIKEL

ABSTRAK

MLDM adalah model fondasi pertama untuk terjemahan multimodal, paradigma baru, yang pertama dari jenisnya. Setiap keputusan yang dibuatnya dicatat bersama dubbing-nya: Anda membacanya, menggantinya, dan menyimpan sebuah pilihan untuk episode berikutnya. Keputusan terjemahan sudah di-review saat ini; keputusan audio dan visual sedang dikembangkan.
MODEL FONDASI PERTAMA UNTUK TERJEMAHAN MULTIMODAL

Keputusan yang Anda arahkan saat ini

  1. 01

    Terjemahannya kembali lebih dulu.

  2. 02

    Bila sebuah baris bisa dibaca lebih dari satu cara, tahap review mengembalikan tiga versi terjemahan, masing-masing untuk maksud dan emosi yang berbeda, beserta alasannya.

  3. 03

    Creative director Anda memilih satu atau menulis versinya sendiri, lalu me-render.

Review yang sama mencakup keputusan lokalisasinya, dimulai dari apa yang tidak perlu diterjemahkan: slang yang dibiarkan apa adanya, nama dan merek yang dipertahankan, referensi yang diganti dengan yang dikenal penontonnya, apa yang dihindari budaya itu, dan kata-kata kasar yang diperhalus untuk versi penonton yang lebih muda.

Plesetan, dari Korea ke Inggris

"사과하려고 사과 사 왔어." bertumpu pada kata 사과 yang berarti permintaan maaf sekaligus apel. Tiga versi terjemahan kembali:

  • "Apples. I'm sorry, right down to the core." Plesetannya dipertahankan.
  • "I came to say sorry. I brought apples." Maknanya saja.
  • "An apple a day keeps the silent treatment away." Lelucon baru.

Creative director-nya memilih versi pertama dan menyuntingnya.

Sindiran, dari Mandarin ke Inggris

"你可真行啊。" bisa terbaca sebagai pujian atau sindiran, tergantung adegannya:

  • "Wow. You're incredible." Tulus.
  • "Well, aren't you something." Sarkastis, yang dipilih.
  • "Look at you, hotshot." Menggoda.

Satu podcast, episode, atau film memuat banyak segmen seperti itu: lelucon, percakapan, cerita.

Keputusan audio

MLDM memutuskan apa yang memang perlu diterjemahkan. Model ini menemukan suara utamanya, membawanya ke bahasa baru dengan suara pembicaranya sendiri, dan membiarkan sisanya seperti aslinya. Menunjukkan setiap keputusan audio yang tipis bedanya kepada tim Anda sedang dikembangkan.

Apa yang tetap dalam bahasa aslinya: yel-yel stadion, dibiarkan dalam bahasa Korea; teriakan di seberang dapur; frasa khas yang dikenal para fans. Pembicara di latar belakang yang suaranya tak terdengar jelas tetap seperti aslinya, atau kembali sebagai pilihan untuk tetap diterjemahkan.

Keputusan visual

SEDANG DIKEMBANGKAN

SIAPA YANG SEBENARNYA MENGUCAPKANNYA
YANG DICATATWajah tempat sebuah baris terdengar, naratornya, suara dari luar layar.
YANG BISA ANDA LAKUKANSaat model keliru memilih pembicara, Anda memilih wajahnya dari para kandidat, dan bibir orang yang tepatlah yang bergerak.
TEKS DI DALAM FRAME
YANG DICATATLayar ponsel bertuliskan 내일 봐, plang nama jalan, etalase toko, dan apa yang dibiarkan seperti saat direkam, diputuskan saat itu juga: merek di bungkus Tostitos, sebuah nama.
YANG BISA ANDA LAKUKANSetiap item ditulis dengan istilah yang sudah Anda pilih, misalnya "Sampai besok", atau dibiarkan seperti saat direkam.
EKSPRESI DAN GESTUR
YANG DICATATMenyesuaikan penekanan baris baru atau budayanya.
YANG BISA ANDA LAKUKANAlis yang terangkat, yang dibaca berbeda oleh penonton baru, bisa dibiarkan seperti saat direkam.

Dicatat bersama dubbing-nya

Catatan inilah yang menjadikan MLDM paradigma baru, yang pertama dari jenisnya: model yang menunjukkan keputusan-keputusannya.

++
Catatan keputusan, yang sedang dikembangkan, menyimpan setiap keputusan beserta opsinya, alasannya, apa yang dipilih, dan siapa yang memilih: model, Anda, atau memori.

Catatan ini terbuka saat review dan dikunci saat render. Ubah sebuah keputusan pada dubbing yang sudah dikirim lalu render lagi; hanya bahasa yang terdampak yang di-render ulang. Dubbing yang di-render dengan review=auto tetap menulis catatannya, berisi pilihan model. Dubbing-nya sendiri dibuat sekali jalan dari keputusan-keputusan itu: suara, bibir, dan adegannya sekaligus. Tool sekali jalan yang ada saat ini bekerja sebaliknya: unggah sekali, terima saja apa pun hasilnya. Jalur berkualitas tinggi mempertahankan kendali secara manual, dengan alat bantu, tim artis VFX, dan waktu berminggu-minggu per proyek. Familiar menghadirkan keduanya: sekali jalan dan kualitas tinggi.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

Pilihan yang dibuat sekali terbawa ke episode berikutnya

  1. SAAT INI

    Dua keputusan tetap sudah berjalan saat ini.

    Do Not Translate membiarkan sebuah frasa seperti yang diucapkan, dan Context memberi arahan satu kalimat; keduanya Anda atur sebelum dubbing. Catatannya menyimpan keputusan yang dibuat model selama proses itu.
  2. SEDANG DIKEMBANGKAN

    Memori keputusan.

    Ingat sebuah penggantian untuk seorang kreator, entah satu acara, channel, atau orang, dan dubbing berikutnya menerapkannya lebih dulu saat baris, istilah, nama, yel-yel, plang, atau wajah yang sama muncul lagi. Frasa khas yang dibiarkan dalam bahasa aslinya terbawa ke episode 2 tanpa review kedua.

Di layar review dan di API

Sedang dikembangkan: layar review mendapat panel keputusan. Linimasa episode memuat satu penanda per keputusan, bisa disaring menurut terjemahan, audio, atau visual; setiap kartu menampilkan momennya, opsi-opsinya beserta alasannya, dan pilihan model yang disorot. Satu ketukan untuk memilih opsi lain, mengetik versi sendiri, mempertahankan aslinya, atau mengingat pilihan itu untuk kreator ini.

API mengembalikan catatan yang sama, jadi pilihan yang dibuat di layar muncul di API, begitu juga sebaliknya. Permukaan yang direncanakan, semuanya sedang dikembangkan:

GET /v1/dubs/{dub_id}/decisions
FUNGSINYAMembaca catatannya.
PATCH /v1/dubs/{dub_id}/decisions/{decision_id}
FUNGSINYAMengganti satu keputusan.
decisions.*
FUNGSINYAPengaturan pada dubbing baru menentukan berapa versi terjemahan yang kembali, tingkat kata kasar, dan keputusan mana yang dikembalikan kepada Anda.
dub.decisions_ready
FUNGSINYAWebhook ini terpicu saat catatannya terbuka.
decisions.json
FUNGSINYAMembawa catatan lengkapnya bersama setiap dubbing yang dikirim.

Referensinya ada di Decisions; tahap review saat ini ada di Transcript & review.

PERTANYAAN

Keputusan mana yang bisa saya ubah saat ini?

Keputusan terjemahan. Baris yang bisa dibaca lebih dari satu cara kembali sebagai tiga versi terjemahan, masing-masing dengan alasannya; creative director Anda memilih satu atau menulis versinya sendiri, lalu me-render. Keputusan audio dan visual sedang dikembangkan.

Bisakah yel-yel dibiarkan dalam bahasa aslinya?

Pilihan itu sedang dikembangkan. Yel-yel stadion, teriakan, atau frasa khas akan kembali sebagai keputusan audio yang bisa Anda biarkan dalam bahasa sumbernya, dan pilihan itu bisa terbawa ke episode berikutnya.

Bagaimana kalau model keliru memilih wajah?

Memilih wajah lain sedang dikembangkan. Barisnya akan kembali bersama wajah-wajah kandidatnya; Anda memilih pembicara yang tepat, dan bibir orang itulah yang bergerak.

Apakah sebuah pilihan terbawa ke episode berikutnya?

Memori keputusan sedang dikembangkan: penggantian yang diingat untuk seorang kreator diterapkan lebih dulu di dubbing berikutnya. Saat ini Do Not Translate dan Context berlaku di semua dubbing tempat Anda mengaturnya.

Apakah review=auto tetap mencatat keputusannya?

Ya. Dalam catatan yang direncanakan, dubbing yang di-render tanpa review tetap menulis setiap keputusan beserta pilihan modelnya, dan bisa dibaca setelah render. Anda bisa mengubah satu keputusan lalu me-render lagi.

Apakah ini AI generatif?

Bukan. MLDM adalah paradigma baru, yang pertama dari jenisnya. Tidak ada prompt, dan tidak ada hal baru yang dikarang: model ini memutuskan cara melokalisasi apa yang sudah ada, lalu menunjukkan keputusan-keputusan itu kepada Anda.

REFERENSI

  1. [1]Apa Itu Model Keputusan Lokalisasi Multimodal (MLDM)?
  2. [2]API: Decisions
  3. [3]API: Transcript & review

Terjemahan multimodal

Familiar Labs menghadirkan dubbing yang satu generasi lebih baik dengan Model Keputusan Lokalisasi Multimodal (MLDM), model fondasi pertama untuk terjemahan multimodal: satu model memutuskan apa yang dilokalisasi di teks, audio, dan visual, lalu menunjukkan pilihan-pilihannya kepada Anda. Suara dan gerak bibir Anda, dibawa ke bahasa-bahasa baru. Timnya beranggotakan 8 orang, termasuk para PhD, didukung oleh Samsung, RedBird, dan Gold House. Misi kami