Merintis Terjemahan Multimodal: Dari Riset Audio-Visual Gabungan ke Model Fondasi Pertama

01. Siapa yang merintis model manusia audio-visual gabungan?

Sebuah dubbing hanya bertahan bila suara dan wajahnya tetap satu orang. Para peneliti Familiar adalah PhD yang merintis bidang model manusia audio-visual gabungan: paper mereka, JAM-Flow, di ECCV 2026, adalah model manusia audio-visual gabungan yang pertama, yang memperlakukan suara dan wajah orang yang berbicara sebagai satu masalah.

Riset ini mencakup bagian-bagian yang dibutuhkan terjemahan multimodal: model manusia audio-visual gabungan, model video cepat, pengeditan, dan persepsi multimodal. Setiap paper dan venue-nya ada di ikhtisar riset kami. Alasannya bersifat pribadi: An Zhu Liu, sang CEO, semasa kecil tidak bisa berbahasa Inggris dengan teman-teman sekelasnya dan mempelajarinya dari televisi, kisah yang diceritakan di halaman misi kami.

02. Mengapa dubbing melewati alat-alat terpisah?

Karena setiap bagiannya dipecahkan sendiri-sendiri lebih dulu. Dubbing mesin hadir sebagai rantai, dan rantai itulah yang membuatnya mungkin sama sekali. Rantai itu juga menetapkan batasnya, dan alat-alat yang dibangun sejak itu masih menukar kualitas dengan waktu. Alat bantu mencapai kualitasnya dengan tim artis VFX dan waktu berminggu-minggu per proyek, satu proyek baru per bahasa. Tool sekali jalan memang cepat, tetapi mengorbankan sisanya: gerak bibirnya gagal saat ada tangan menutupi wajah, mikrofon, blur, bokeh, angle samping, atau beberapa orang di dalam frame, tanpa penalaran spasial dan tanpa pemahaman tentang dunia. Familiar menghadirkan keduanya: sekali jalan dan kualitas tinggi.

++

Familiar adalah model fondasi pertama untuk terjemahan multimodal: satu model yang membawa kata-kata, suara, bibir, dan adegannya ke bahasa baru, semuanya sekaligus.

Perbandingannya langkah demi langkah ada di Terjemahan Audio-Visual Sekaligus, Bukan Berantai; definisinya ada di Model Fondasi Pertama untuk Terjemahan Multimodal.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. Apa arti merintis di sini?

Tiga hal, bersatu untuk pertama kalinya. Yang pertama, audio dan visual dibawa ke bahasa baru sekaligus, oleh satu model, sehingga keputusannya selaras: suaranya milik sang aktor sendiri, bibirnya mengikuti kata-kata baru, dan tawa, riuh kerumunan, serta musiknya tetap di tempatnya.

Yang kedua adalah urutannya. Terjemahan dulu, lalu dubbing-nya dibuat sekali jalan: suara, bibir, dan adegannya sekaligus. Kata-katanya dimatangkan, dan di-review oleh creative director Anda, sebelum apa pun disuarakan.

Yang ketiga adalah catatannya. Setiap keputusan yang dibuat MLDM dicatat bersama pekerjaan dubbing-nya, dan Anda bisa mengganti keputusan mana pun. Penjelasan lengkapnya ada di Catatan Keputusan: Cara Creative Director Mengarahkan MLDM; apa itu MLDM, di paper definisinya.

04. Apa yang diputuskan model, dan apa yang Anda pilih?

Hasil riset menjadi produk ketika orang yang memakainya tetap memegang kendali. MLDM untuk pekerjaan yang membosankan. Keputusan kreatifnya tetap milik Anda.

05. Apa yang masih sedang dikembangkan?

Merintis berarti versi pertama, bukan yang terakhir. Pilihan terjemahan sudah terbuka saat ini; bagian lain dari catatannya terbuka bertahap.

1. SAAT INI

   Creative director Anda me-review keputusan terjemahannya.

   Versi-versi terjemahan beserta alasannya masing-masing; daftar Do Not Translate dan konteks satu kalimat ikut menyertai pekerjaan dubbing-nya.
2. SEDANG DIKEMBANGKAN

   Keputusan audio dan visual, di review yang sama.

3. SEDANG DIKEMBANGKAN

   Teks di dalam frame.

   Layar ponsel, sampul buku, plang nama jalan, ditulis dengan istilah yang sudah Anda pilih; merek atau nama dibiarkan seperti saat direkam, diputuskan saat itu juga: sebungkus Tostitos tetap Tostitos.
4. SEDANG DIKEMBANGKAN

   Dubbing live.

06. Apa artinya bagi orang-orang di layar?

Dubbing manusia di luar jangkauan sebagian besar dunia. Bahkan produksi papan atas hanya men-dubbing beberapa bahasa, karena biaya, tenaga, dan waktu yang dibutuhkan; produksi yang lebih kecil, serial, dan drama vertikal kebanyakan sama sekali tidak di-dubbing. Model fondasi untuk terjemahan multimodal memberi mereka semua penampilan yang sama dalam bahasa lain: suara, bibir, dan ekspresi sang aktor dalam 30 bahasa, dikirim hingga 4K dengan mix surround 5.1 asli atau stereo dalam PCM 24-bit (output-nya).

Terjemahannya terukur di angka 100.3% dari kualitas terjemahan manusia ahli: setara; studinya ada di /benchmark. Bukan “AI generatif”, melainkan terjemahan untuk memberdayakan insan kreatif. Dari manusia ke manusia, memperluas jangkauan. Artinya bagi sebuah katalog ada di paper untuk studio dan platform.

PERTANYAAN