Apa Itu Model Keputusan Lokalisasi Multimodal (MLDM)?

RISET FAMILIAR2026-10-27DIPERBARUI 2026-11-01SEMUA ARTIKEL

ABSTRAK

Model fondasi pertama untuk terjemahan multimodal, paradigma baru, yang pertama dari jenisnya. MLDM adalah satu model yang memutuskan apa yang dilokalisasi dan bagaimana caranya, di teks, audio, dan visual, lalu menunjukkan pilihan-pilihan yang penting kepada Anda. Terjemahan dulu, lalu dubbing-nya dibuat sekali jalan: suara, bibir, dan adegannya sekaligus. Keputusannya selaras karena dibuat oleh satu model. Orangnya tidak pernah berubah.

MODEL FONDASI PERTAMA UNTUK TERJEMAHAN MULTIMODALTERJEMAHAN AUDIO-VISUAL SEKALIGUS, BUKAN BERANTAI

Apa yang diputuskan MLDM?

TEKS

Versi terjemahan mana yang paling tepat membawa sebuah baris ke bahasa baru. MLDM menimbang beberapa versi dan memilih yang terbaik: dalam lelucon, cerita, atau giliran bicara, satu kata saja bisa mengubah maksud dan emosinya. Keputusan yang sama mencakup istilah, apa yang tidak perlu diterjemahkan, slang yang dibiarkan apa adanya, nama dan merek yang dipertahankan, referensi yang diganti dengan yang dikenal penontonnya, apa yang dihindari budaya itu, dan kata-kata kasar yang diperhalus untuk versi penonton yang lebih muda.

AUDIO

Apa yang memang perlu diterjemahkan. MLDM mendengar semua yang ada di trek: tawa, riuh kerumunan, teriakan, pembicara di latar belakang yang suaranya tak terdengar jelas. Model ini menemukan suara utamanya, membawanya ke bahasa baru dengan suara pembicaranya sendiri, dan membiarkan sisanya seperti aslinya.

VISUAL

Siapa yang sebenarnya mengucapkannya. Audio dan visual diputuskan bersamaan, jadi MLDM tahu siapa narator, siapa yang berbicara dari luar layar, dan bibir siapa yang harus bergerak. Bibirnya mengikuti kata-kata baru di setiap baris; ekspresi dan gesturnya menyesuaikan saat penekanan kalimat atau budayanya memerlukannya.

PILIHAN YANG ANDA LIHAT

TEKS

SAAT INIBila sebuah baris bisa dibaca lebih dari satu cara, creative director Anda menerima versi-versi terjemahan beserta alasannya masing-masing, lalu memilih satu. Satu podcast, episode, atau film bisa memuat banyak segmen seperti itu.

SEDANG DIKEMBANGKAN

AUDIO

SAAT INI

SEDANG DIKEMBANGKANMemilih apa yang tetap dalam bahasa aslinya. Yel-yel, teriakan, atau satu frasa bisa dibiarkan seperti yang diucapkan bila Anda menghendakinya.

VISUAL

SAAT INI

SEDANG DIKEMBANGKANMemilih wajah lain saat model keliru memilih pembicara, dan memilih teks mana di dalam frame yang diterjemahkan. Teks itu, entah layar ponsel, sampul buku, plang nama jalan, atau etalase toko, akan ditulis dengan istilah yang sudah Anda pilih; model ini memutuskan saat itu juga apa yang dibiarkan seperti saat direkam, entah merek, nama, atau slang: sebungkus Tostitos tetap Tostitos.

Mengapa satu model?

RANTAI ALAT

Speech-to-text, lalu terjemahan, lalu suara, lalu lip-sync, masing-masing tahap disetel sendiri-sendiri.
Rantai itulah yang membuat dubbing mesin menjadi mungkin.
Setiap tahap tetap menebak tanpa tahu tahap lainnya, sehingga kesalahannya menumpuk dari satu tahap ke tahap berikutnya.

SATU MODEL FONDASI, YANG PERTAMA DARI JENISNYA

MLDM membuat keputusan-keputusannya bersamaan.
Terjemahannya tahu mulut mana yang harus dicocokkan.
Suaranya tahu adegan tempat ia berada.
Orangnya tidak pernah berubah.

Terjemahan dulu, lalu dubbing-nya dibuat sekali jalan: suara, bibir, dan adegannya keluar bersamaan, dari keputusan yang sama.

Terjemahan audio-visual sekaligus, bukan berantai: yang pertama dari jenisnya. Itulah yang menjadikan MLDM model fondasi pertama untuk terjemahan multimodal: satu model yang membawa kata-kata, suara, bibir, dan adegannya ke bahasa baru, semuanya sekaligus. Jalur berkualitas tinggi saat ini bersifat berbantuan: tim artis VFX dan waktu berminggu-minggu per proyek, dan setiap bahasa menjadi proyek baru. Tool sekali jalan yang ada saat ini memang cepat, tetapi mengorbankan sisanya. Familiar menghadirkan keduanya: sekali jalan dan kualitas tinggi.

HeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync The ElevenLabs study The demos

Apa beda lokalisasi dan terjemahan?

Terjemahan adalah kata-katanya. Lokalisasi adalah apa yang dibutuhkan sebuah budaya dari kata-kata itu.

Istilah yang tepat, slang-nya, nama yang dibiarkan seperti yang diucapkan, referensi yang diganti dengan yang dikenal penontonnya, apa yang dihindari budaya itu, tingkat kata kasar yang pas. MLDM memutuskan semuanya, dan pada waktunya juga gambarnya, saat gambar itu memang harus berubah.

Apakah MLDM itu AI generatif?

Bukan. IBM mendefinisikannya seperti ini:

AI generatif, kadang disebut gen AI, adalah kecerdasan buatan (AI) yang dapat menciptakan konten orisinal seperti teks, gambar, video, audio, atau kode perangkat lunak sebagai respons atas prompt atau permintaan pengguna.

IBM, What is generative AI?

Itu alat yang hebat untuk membuat hal baru. MLDM tidak memakai prompt, dan tidak ada hal baru yang dikarang: model ini memutuskan cara melokalisasi apa yang sudah ada. Posisi lengkapnya ada di Mengapa Familiar Bukan AI Generatif Tradisional dan Terjemahan Bukan Pembuatan Konten Baru.

Keputusan siapa itu?

Keputusan Anda. Setiap keputusan yang dibuat MLDM dicatat bersama dubbing-nya, dalam catatan keputusan.

SAAT INI
Creative director Anda me-review keputusan terjemahannya.
Versi-versi terjemahan beserta alasannya masing-masing; mereka memilih satu sebelum apa pun dirilis.
SAAT INI
Daftar Do Not Translate dan konteks satu kalimat ikut menyertai pekerjaan dubbing-nya.
SEDANG DIKEMBANGKAN
Keputusan audio dan visual, di review yang sama.
SEDANG DIKEMBANGKAN
Memori keputusan.
Penggantian yang diingat untuk seorang kreator diterapkan lebih dulu di dubbing berikutnya, jadi pilihan yang dibuat sekali akan terbawa ke episode berikutnya.

Cerita lengkapnya ada di Catatan Keputusan: Cara Creative Director Mengarahkan MLDM; API yang direncanakan ada di dokumentasi keputusan.

PERTANYAAN

Apa kepanjangan MLDM?

MLDM adalah singkatan dari Multimodal Localization Decision Model (Model Keputusan Lokalisasi Multimodal), paradigma baru, yang pertama dari jenisnya: satu model yang memutuskan apa yang dilokalisasi dan bagaimana caranya, di teks, audio, dan visual. Model ini memilih versi terjemahan sebuah baris, apa yang diterjemahkan di audio, siapa di layar yang berbicara, dan bagaimana bibir, ekspresi, serta gesturnya menyesuaikan.

Apakah MLDM itu model video?

Tidak dalam arti yang umum. MLDM bekerja pada rekaman yang sudah ada dan memutuskan cara melokalisasinya: kata-kata, suara, bibir, dan ekspresinya. Orang di layar tetap persis dirinya sendiri, dalam setiap bahasa.

Apakah MLDM membuat rekaman baru?

Tidak. Tidak ada prompt, dan tidak ada hal baru yang dikarang. MLDM memutuskan cara melokalisasi apa yang sudah ada: aktor, timing, dan adegannya tetap, sementara kata-kata, trek suara, dan bibirnya berubah mengikuti bahasa baru.

Apa yang diputuskan MLDM di audio?

Apa yang memang perlu diterjemahkan. Model ini menemukan suara utamanya dan membawanya ke bahasa baru dengan suara pembicaranya sendiri. Tawa, riuh kerumunan, teriakan, dan pembicara di latar belakang yang suaranya tak terdengar jelas tetap seperti aslinya.

Apakah MLDM mengubah ekspresi?

Saat penekanan kalimat atau budayanya memerlukannya. Bibirnya mengikuti kata-kata baru di setiap baris; ekspresi dan gesturnya menyesuaikan saat sebuah baris terasa berbeda dalam bahasa baru. Orangnya tetap persis dirinya sendiri.

Apakah MLDM menerjemahkan teks di layar?

Belum. Teks di dalam frame, seperti layar ponsel, sampul buku, plang nama jalan, atau etalase toko, sedang diintegrasikan, ditulis dengan istilah yang sudah Anda pilih; model ini memutuskan saat itu juga apa yang dibiarkan seperti saat direkam, entah merek, nama, atau slang: sebungkus Tostitos tetap Tostitos. Saat ini yang dilokalisasi adalah kata-kata, suara, bibir, ekspresi, dan gesturnya.

Bisakah saya mengganti keputusan yang dibuat model?

Bisa. Setiap keputusan dicatat bersama pekerjaan dubbing-nya, dan Anda bisa menggantinya. Saat ini creative director Anda memilih di antara versi-versi terjemahan, masing-masing dengan alasannya, dan pilihan yang dibuat sekali akan terbawa ke episode berikutnya.

Apakah model ini menunjukkan pilihannya di audio dan video?

Pilihan terjemahan sudah ditunjukkan saat ini. Pilihan audio, seperti apa yang tetap dalam bahasa aslinya, dan pilihan visual, seperti memilih wajah lain atau teks mana di dalam frame yang diterjemahkan, sedang dikembangkan.

REFERENSI

Terjemahan multimodal

Familiar Labs menghadirkan dubbing yang satu generasi lebih baik dengan Model Keputusan Lokalisasi Multimodal (MLDM), model fondasi pertama untuk terjemahan multimodal: satu model memutuskan apa yang dilokalisasi di teks, audio, dan visual, lalu menunjukkan pilihan-pilihannya kepada Anda. Suara dan gerak bibir Anda, dibawa ke bahasa-bahasa baru. Timnya beranggotakan 8 orang, termasuk para PhD, didukung oleh Samsung, RedBird, dan Gold House. Misi kami

Lihat benchmark lengkapnya →Bicara dengan tim