Model Fondasi Pertama untuk Terjemahan Multimodal

01. Apa itu model fondasi untuk terjemahan multimodal?

Sebuah video menyampaikan lebih dari kata-katanya. Suara pembicara, gerak mulutnya, tawa di ruangan, dan musik di bawah sebuah adegan semuanya membawa makna. Menerjemahkan video dengan baik berarti membawa semuanya, dan menjaga semuanya tetap selaras: baris dialognya harus pas dengan mulutnya, suaranya harus menyatu dengan adegannya, dan orang di layar harus tetap persis dirinya sendiri.

Model fondasi untuk terjemahan multimodal adalah satu model yang mengerjakan seluruh tugas itu. Model ini menerima rekaman sebagai satu kesatuan dan memutuskan bagaimana setiap bagiannya mendarat dalam bahasa baru. Familiar membangun yang pertama, dan menyebutnya MLDM.

02. Mengapa selama ini dubbing melewati alat-alat terpisah?

Dubbing manusia selalu di luar jangkauan sebagian besar dunia. Bahkan produksi papan atas hanya men-dubbing beberapa bahasa karena biaya, tenaga, dan waktunya; produksi yang lebih kecil, serial, dan drama vertikal sama sekali tidak di-dubbing. Dubbing manusia penuh, terjemahan ditambah suara, berkisar $70 hingga $150 per menit jadi.

03. Apa yang berubah saat satu model membawa semuanya sekaligus?

++

Terjemahan audio-visual sekaligus, bukan berantai: yang pertama dari jenisnya.

Penampilan aktor yang sama tetap terbawa: suaranya sendiri, bibirnya yang bergerak mengikuti kata-kata baru, ekspresinya, dan audio adegan di sekitarnya. Tawa, riuh kerumunan, dan musiknya tetap seperti aslinya. Pada klip yang sama, YouTube membuat kesalahan suara latar 232.6% lebih banyak daripada Familiar. Dari sisi teks saja, terjemahannya setara dengan draf pertama penerjemah profesional ahli: 100.3% dari kualitas mereka. Angka lengkapnya ada di benchmark.

Ini juga mengubah pekerjaan di sekitar sebuah dubbing. Jalur berkualitas tinggi saat ini bersifat berbantuan: tim artis VFX bekerja shot demi shot selama berminggu-minggu, dan setiap bahasa menjadi proyek baru. Tool sekali jalan yang ada saat ini memang cepat, tetapi mengorbankan sisanya: terjemahannya tidak bisa diedit, musik dan suasana ruangannya hilang, dan gerak bibirnya gagal di shot yang biasa saja, tangan menutupi wajah, mikrofon, blur, bokeh, angle samping, beberapa orang di dalam frame. Tanpa penalaran spasial, tanpa pemahaman tentang dunia. Familiar menghadirkan keduanya: sekali jalan dan kualitas tinggi. Satu unggahan membawa video ke setiap bahasa yang Anda pilih, sekaligus, dan keputusannya selaras karena dibuat oleh satu model, jadi tidak ada yang perlu dijahit ulang secara manual.

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. Apa yang diputuskan MLDM, dan apa yang Anda pilih?

Model Keputusan Lokalisasi Multimodal adalah modelnya itu sendiri. MLDM memutuskan apa yang dilokalisasi dan bagaimana caranya, di teks, audio, dan visual. Definisi lengkapnya ada di Apa Itu Model Keputusan Lokalisasi Multimodal (MLDM)?

1. SAAT INI

   Keputusan terjemahan, di-review oleh creative director Anda.

   Setiap keputusan dicatat bersama pekerjaan dubbing-nya. Anda bisa mengganti keputusan mana pun.
2. SEDANG DIKEMBANGKAN

   Keputusan audio dan visual, di review yang sama.

3. SEDANG DIKEMBANGKAN

   Teks di dalam frame, dan dubbing live.

   Layar ponsel atau plang nama jalan ditulis dengan istilah yang sudah Anda pilih; merek atau nama dibiarkan seperti saat direkam, diputuskan saat itu juga: sebungkus Tostitos tetap Tostitos.

Catatan pilihan-pilihan itu ada di Catatan Keputusan: Cara Creative Director Mengarahkan MLDM.

05. Apa yang didapat studio dari sebuah model fondasi?

MLDM untuk pekerjaan yang membosankan. Keputusan kreatif tetap di tangan orang-orang yang membuat karyanya; model ini membawa sisanya ke setiap bahasa sekaligus.

Setiap dubbing diproses di klaster itu, tidak pernah oleh penyedia inferensi pihak ketiga, jadi media Anda tidak pernah bocor. Detailnya ada di dokumentasi inferensi privat dan dokumentasi output. Di baliknya ada para PhD yang merintis bidang model manusia audio-visual gabungan: 22 paper, lebih dari 10,000 sitasi, dengan Prof. Xu Zheng dan Prof. Youngjung Uh sebagai penasihat, didukung oleh Samsung, RedBird, dan Gold House. Paper-papernya ada di riset kami.

06. Apakah model fondasi untuk terjemahan itu AI generatif?

Tidak dalam arti tradisional. IBM mendefinisikan AI generatif seperti ini:

Itu alat yang hebat untuk membuat hal baru. MLDM tidak memakai prompt, dan tidak ada hal baru yang dikarang: model ini membawa apa yang sudah ada ke bahasa lain. Bukan “AI generatif”, melainkan terjemahan untuk memberdayakan insan kreatif. Dari manusia ke manusia, memperluas jangkauan.

Paper lain dalam seri ini: Terjemahan Audio-Visual Sekaligus, Bukan Berantai, Arti Model Fondasi untuk Terjemahan Multimodal bagi Studio dan Platform, dan Merintis Terjemahan Multimodal: Dari Riset Audio-Visual Gabungan ke Model Fondasi Pertama.

PERTANYAAN