Terjemahan Audio-Visual Sekaligus, Bukan Berantai

01. Apa itu era rantai dalam dubbing mesin?

Dubbing mesin berawal sebagai rantai: empat alat berurutan, masing-masing dibangun dan disetel sendiri, masing-masing menyerahkan hasilnya ke alat berikutnya.

1. 01

   Transkripsi.

   Speech-to-text menuliskan apa yang diucapkan.
2. 02

   Terjemahan.

   Model teks menerjemahkan transkripnya ke bahasa baru, tanpa mendengar suaranya atau melihat wajahnya.
3. 03

   Suara.

   Text-to-speech membacakan terjemahannya, sering kali dengan suara orang asing.
4. 04

   Lip-sync.

   Alat terpisah menggerakkan mulut mengikuti audio baru, setelah semua kata sudah dikunci.

Rantai itu membuat dubbing mesin menjadi mungkin. Batasnya ada pada bentuknya: setiap tahap menebak tanpa tahu tahap lainnya. Terjemahannya tidak bisa tahu bahwa baris itu harus pas dengan mulut yang tertutup. Suaranya tidak bisa tahu ruangan tempat ia berada. Kata yang salah dengar atau baris yang kepanjangan diteruskan ke bawah, dan kesalahannya menumpuk di setiap tahap sesudahnya.

Setiap alat makin baik dari tahun ke tahun: transkrip yang lebih bersih, terjemahan yang lebih tajam, suara yang lebih alami. Dubbing jadinya membaik lebih lambat, karena sambungan di antara alat-alat itu tetap di tempatnya.

02. Apa yang dihadapi pembeli saat ini?

Dalam praktiknya, rantai itu datang sebagai tumpukan alat: transkrip dari satu alat, terjemahan dari alat lain, suara dari alat ketiga, lip-sync dan subtitle dari alat keempat. Memperbaiki satu baris berarti menjalankan ulang setiap tahap sesudahnya, dan seseorang di tim Anda yang menyatukan semua filenya. Alat yang melewati tumpukan itu menukar kualitas dengan waktu. Alat bantu mencapai kualitasnya dengan tim artis VFX untuk shot-shot yang sulit: berminggu-minggu per proyek, dan setiap bahasa menjadi proyek baru. Tool sekali jalan memang cepat, tetapi mengorbankan sisanya: suaranya melenceng, suasana ruangannya hilang, dan gerak bibirnya gagal saat ada tangan menutupi wajah, mikrofon, blur, bokeh, angle samping, atau beberapa orang di dalam frame, tanpa penalaran spasial dan tanpa pemahaman tentang dunia. Familiar menghadirkan keduanya: sekali jalan dan kualitas tinggi.

Jalan lainnya adalah dubbing manusia penuh, terjemahan dan suara, dengan biaya $70–150 per menit jadi. Biaya, tenaga, dan waktunya membuat jalan itu di luar jangkauan sebagian besar dunia: bahkan produksi papan atas hanya men-dubbing beberapa bahasa, dan produksi yang lebih kecil, serial, dan drama vertikal kebanyakan sama sekali tidak di-dubbing.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

Jika Anda sedang mempertimbangkan ElevenLabs Dubbing, berikut kutipan dari dokumentasi mereka, berdampingan dengan studi kami:

ElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study →Their docs ↗

03. Apa yang berubah saat satu model membuat setiap keputusan?

Familiar men-dubbing dengan Model Keputusan Lokalisasi Multimodal (MLDM). MLDM memutuskan apa yang dilokalisasi dan bagaimana caranya, di teks, audio, dan visual, dan keputusannya selaras karena dibuat oleh satu model. Definisinya ada di Model Fondasi Pertama untuk Terjemahan Multimodal.

Yang Anda terima kembali adalah penampilan sang aktor sendiri dalam bahasa lain: suaranya, bibirnya, ekspresinya, dan audio adegannya, terbawa bersamaan. Satu unggahan keluar dalam setiap bahasa sekaligus: dubbing dalam 30 bahasa, dari rekaman dalam salah satu dari 99 bahasa sumber.

Memutuskan bersamaan juga mengubah apa yang bisa salah. Baris yang akan kepanjangan diterjemahkan agar pas dengan waktu dan mulutnya sebelum suara apa pun dibuat. Tawa di tengah kalimat tetap menjadi tawa. Saat dua orang berbicara bersamaan, model ini tahu siapa mengucapkan baris yang mana, jadi bibir yang tepatlah yang bergerak.

04. Apa artinya bagi dubbing jadinya?

Kami menjalankan klip yang sama melalui kedua sistem dan menilainya dengan cara yang sama. Setiap angka berasal dari studinya sendiri, dipublikasikan di benchmark.

Suaranya juga diukur: Familiar terdengar 27.8% lebih mirip pembicara aslinya dibanding ElevenLabs Dubbing v1, lebih mirip di seluruh 11 bahasa, dalam studi yang dikutip di atas.

Auto-dubbing YouTube menunjukkan kesalahan suara latar 232.6% lebih banyak dalam studinya sendiri. Adegannya tetap utuh karena MLDM mendengar semua yang ada di trek, tawa, riuh kerumunan, musik, lalu menemukan suara utamanya, membawanya ke bahasa baru dengan suara pembicaranya sendiri, dan membiarkan sisanya seperti aslinya.

05. Apa arti "terjemahan dulu, lalu dubbing-nya dibuat sekali jalan"?

++

Terjemahan dulu, lalu dubbing-nya dibuat sekali jalan: suara, bibir, dan adegannya sekaligus.

Urutannya penting. Terjemahannya datang lebih dulu, dan creative director Anda me-review-nya: bila sebuah baris bisa dibaca lebih dari satu cara, mereka melihat versi-versi terjemahan beserta alasannya masing-masing, lalu memilih satu. Baru setelah itu dubbing-nya dibuat, satu kali. Tidak ada hal baru yang dikarang. Bukan “AI generatif”, melainkan terjemahan untuk memberdayakan insan kreatif. MLDM untuk pekerjaan yang membosankan.

Subtitle dipotong sesuai konvensi Timed Text Style Guide Netflix, standar template subtitle yang menjadi acuan industri. Setiap dubbing diproses di klaster GPU NVIDIA B300 senilai puluhan juta dolar AS milik Familiar sendiri di Toronto, Kanada, tidak pernah di cloud publik seperti Google Cloud atau AWS, dan tidak pernah oleh penyedia inferensi pihak ketiga. Filenya dijelaskan di dokumentasi output, pemrosesannya di inferensi privat, dan artinya bagi sebuah katalog di Arti Model Fondasi untuk Terjemahan Multimodal bagi Studio dan Platform.

06. Siapa yang membuat keputusan akhir?

1. SAAT INI

   Creative director Anda me-review keputusan terjemahannya.

   Versi-versi terjemahan beserta alasannya masing-masing; mereka memilih satu sebelum apa pun dirilis.
2. SAAT INI

   Daftar Do Not Translate dan konteks satu kalimat ikut menyertai pekerjaan dubbing-nya.

3. SEDANG DIKEMBANGKAN

   Keputusan audio dan visual, di review yang sama.

   Apa yang tetap dalam bahasa aslinya, wajah lain saat model keliru memilih pembicara, dan teks di dalam frame.

Yang berubah bagi sebuah katalog adalah jangkauannya. Serial yang tadinya hanya ada dalam satu bahasa bisa tayang dalam 30 bahasa sekaligus, membawa penampilan para aktornya sendiri, sementara tim Anda tetap membuat setiap keputusan yang penting.

Itulah catatan keputusan; cerita lengkapnya ada di Catatan Keputusan: Cara Creative Director Mengarahkan MLDM, dan apa yang diputuskan model di Apa Itu Model Keputusan Lokalisasi Multimodal (MLDM)?. Riset di baliknya ada di Merintis Terjemahan Multimodal: Dari Riset Audio-Visual Gabungan ke Model Fondasi Pertama. Dari manusia ke manusia, memperluas jangkauan.

PERTANYAAN