DEFINISI

Apa Itu Model Fondasi Lokalisasi Multimodal (MLFM)?

RISET FAMILIAR LABSDIPERBARUI SEMUA ARTIKEL
BACA DALAM BAHASAEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнськаHrvatskiLietuviųSlovenčinaSvenskaБългарскиDanskLatviešu

ABSTRAK

Model fondasi pertama untuk terjemahan multimodal, paradigma baru, yang pertama dari jenisnya. MLFM adalah satu model yang memutuskan apa yang dilokalisasi dan bagaimana caranya, di teks, audio, dan visual, lalu menunjukkan pilihan-pilihan yang penting kepada Anda. Terjemahan dulu, lalu dubbing-nya dibuat sekali jalan: suara, bibir, dan adegannya sekaligus. Keputusannya selaras karena dibuat oleh satu model. Orangnya tidak pernah berubah.
MODEL FONDASI PERTAMA UNTUK TERJEMAHAN MULTIMODALTERJEMAHAN AUDIO-VISUAL SEKALIGUS, BUKAN BERANTAI

Apa yang diputuskan MLFM?

TEKS
Versi terjemahan mana yang paling tepat membawa sebuah baris ke bahasa baru. MLFM menimbang beberapa versi dan memilih yang terbaik: dalam lelucon, cerita, atau giliran bicara, satu kata saja bisa mengubah maksud dan emosinya. Keputusan yang sama mencakup istilah, apa yang tidak perlu diterjemahkan, slang yang dibiarkan apa adanya, nama dan merek yang dipertahankan, referensi yang diganti dengan yang dikenal penontonnya, apa yang dihindari budaya itu, dan kata-kata kasar yang diperhalus untuk versi penonton yang lebih muda.
AUDIO
Apa yang memang perlu diterjemahkan. MLFM mendengar semua yang ada di trek: tawa, riuh kerumunan, teriakan, pembicara di latar belakang yang suaranya tak terdengar jelas. Model ini menemukan suara utamanya, membawanya ke bahasa baru dengan suara pembicaranya sendiri, dan membiarkan sisanya seperti aslinya.
VISUAL
Siapa yang sebenarnya mengucapkannya. Audio dan visual diputuskan bersamaan, jadi MLFM tahu siapa narator, siapa yang berbicara dari luar layar, dan bibir siapa yang harus bergerak. Bibirnya mengikuti kata-kata baru di setiap baris, termasuk oklusi dan penalaran spasial; ekspresi dan gesturnya menyesuaikan saat penekanan kalimat atau budayanya memerlukannya.

PILIHAN YANG ANDA LIHAT

TEKS
SAAT INIBila sebuah baris bisa dibaca lebih dari satu cara, creative director Anda menerima versi-versi terjemahan beserta alasannya masing-masing, lalu memilih satu. Satu podcast, episode, atau film bisa memuat banyak segmen seperti itu.
SEDANG DIKEMBANGKAN
AUDIO
SAAT INI
SEDANG DIKEMBANGKANMemilih apa yang tetap dalam bahasa aslinya. Yel-yel, teriakan, atau satu frasa bisa dibiarkan seperti yang diucapkan bila Anda menghendakinya.
VISUAL
SAAT INI
SEDANG DIKEMBANGKANMemilih wajah lain saat model keliru memilih pembicara, dan memilih teks mana di dalam frame yang diterjemahkan. Teks itu, entah layar ponsel, sampul buku, plang nama jalan, atau etalase toko, akan ditulis dengan istilah yang sudah Anda pilih; model ini memutuskan saat itu juga apa yang dibiarkan seperti saat direkam, entah merek, nama, atau slang: sebungkus Tostitos tetap Tostitos.

Mengapa satu model?

RANTAI ALAT

  • Speech-to-text, lalu terjemahan, lalu suara, lalu lip-sync, masing-masing tahap disetel sendiri-sendiri.
  • Rantai itulah yang membuat dubbing mesin menjadi mungkin.
  • Setiap tahap tetap menebak tanpa tahu tahap lainnya, sehingga kesalahannya menumpuk dari satu tahap ke tahap berikutnya.

SATU MODEL FONDASI, YANG PERTAMA DARI JENISNYA

  • MLFM membuat keputusan-keputusannya bersamaan.
  • Terjemahannya tahu mulut mana yang harus dicocokkan.
  • Suaranya tahu adegan tempat ia berada.
  • Orangnya tidak pernah berubah.
++
Terjemahan dulu, lalu dubbing-nya dibuat sekali jalan: suara, bibir, dan adegannya keluar bersamaan, dari keputusan yang sama.

Terjemahan audio-visual sekaligus, bukan berantai: yang pertama dari jenisnya. Itulah yang menjadikan MLFM model fondasi pertama untuk terjemahan multimodal: satu model yang membawa kata-kata, suara, bibir, dan adegannya ke bahasa baru, semuanya sekaligus. Jalur berkualitas tinggi saat ini bersifat berbantuan: tim artis VFX dan waktu berminggu-minggu per proyek, dan setiap bahasa menjadi proyek baru. Tool sekali jalan yang ada saat ini memang cepat, tetapi mengorbankan sisanya. Familiar Labs menghadirkan keduanya: sekali jalan dan kualitas tinggi.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar Labs is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR LABS CLOSER TO THE REAL SPEAKER

FAMILIAR LABS · ONE SHOT AND THE QUALITYFamiliar Labs vs Flawless TrueSync The ElevenLabs study The demos

Apa beda lokalisasi dan terjemahan?

Terjemahan adalah kata-katanya. Lokalisasi adalah apa yang dibutuhkan sebuah budaya dari kata-kata itu.

Istilah yang tepat, slang-nya, nama yang dibiarkan seperti yang diucapkan, referensi yang diganti dengan yang dikenal penontonnya, apa yang dihindari budaya itu, tingkat kata kasar yang pas. MLFM memutuskan semuanya, dan pada waktunya juga gambarnya, saat gambar itu memang harus berubah.

Apakah MLFM itu AI generatif?

Bukan. IBM mendefinisikannya seperti ini:

AI generatif, kadang disebut gen AI, adalah kecerdasan buatan (AI) yang dapat menciptakan konten orisinal seperti teks, gambar, video, audio, atau kode perangkat lunak sebagai respons atas prompt atau permintaan pengguna.
IBM, What is generative AI?

Itu alat yang hebat untuk membuat hal baru. MLFM tidak memakai prompt, dan tidak ada hal baru yang dikarang: model ini memutuskan cara melokalisasi apa yang sudah ada. Posisi lengkapnya ada di Mengapa Familiar Labs Bukan AI Generatif Tradisional dan Terjemahan Bukan Pembuatan Konten Baru.

Keputusan siapa itu?

Keputusan Anda. Setiap keputusan yang dibuat MLFM dicatat bersama dubbing-nya, dalam catatan keputusan.

  1. SAAT INI

    Creative director Anda me-review keputusan terjemahannya.

    Versi-versi terjemahan beserta alasannya masing-masing; mereka memilih satu sebelum apa pun dirilis.
  2. SAAT INI

    Daftar Do Not Translate dan konteks satu kalimat ikut menyertai pekerjaan dubbing-nya.

  3. SEDANG DIKEMBANGKAN

    Keputusan audio dan visual, di review yang sama.

  4. SEDANG DIKEMBANGKAN

    Memori keputusan.

    Penggantian yang diingat untuk seorang kreator diterapkan lebih dulu di dubbing berikutnya, jadi pilihan yang dibuat sekali akan terbawa ke episode berikutnya.

Cerita lengkapnya ada di Catatan Keputusan: Cara Creative Director Mengarahkan MLFM; API yang direncanakan ada di dokumentasi keputusan.

PERTANYAAN

Apa kepanjangan MLFM?

MLFM adalah singkatan dari Multimodal Localization Foundation Model (Model Fondasi Lokalisasi Multimodal), paradigma baru, yang pertama dari jenisnya: satu model yang memutuskan apa yang dilokalisasi dan bagaimana caranya, di teks, audio, dan visual. Model ini memilih versi terjemahan sebuah baris, apa yang diterjemahkan di audio, siapa di layar yang berbicara, dan bagaimana bibir, ekspresi, serta gesturnya menyesuaikan.

Apakah MLFM itu model video?

Tidak dalam arti yang umum. MLFM bekerja pada rekaman yang sudah ada dan memutuskan cara melokalisasinya: kata-kata, suara, bibir, dan ekspresinya. Orang di layar tetap persis dirinya sendiri, dalam setiap bahasa.

REFERENSI

  1. [1]IBM, What is generative AI?, dibaca 27 Oktober 2026
  2. [2]Misi kami
  3. [3]FAQ Familiar Labs

Terjemahan multimodal

Familiar Labs menghadirkan dubbing yang satu generasi lebih baik dengan Model Fondasi Lokalisasi Multimodal (MLFM), model fondasi pertama untuk terjemahan multimodal: satu model memutuskan apa yang dilokalisasi di teks, audio, dan visual, lalu menunjukkan pilihan-pilihannya kepada Anda. Suara dan gerak bibir Anda, dibawa ke bahasa-bahasa baru. Timnya beranggotakan 7 orang, termasuk para PhD, didukung oleh Samsung, RedBird, dan Gold House. Misi kami

Lihat benchmark lengkapnya →Bicara dengan tim