บุกเบิกการแปลแบบมัลติโมดัล: จากงานวิจัยภาพและเสียงร่วมกันสู่โมเดลพื้นฐานตัวแรก

01. ใครเป็นผู้บุกเบิกโมเดลมนุษย์ที่สร้างภาพและเสียงไปพร้อมกัน

งานพากย์จะยืนได้ก็ต่อเมื่อเสียงและใบหน้ายังเป็นคนคนเดียวกัน นักวิจัยของ Familiar คือทีมปริญญาเอกผู้บุกเบิกสาขาโมเดลมนุษย์ที่สร้างภาพและเสียงไปพร้อมกัน บทความ JAM-Flow ของพวกเขาที่ ECCV 2026 คือโมเดลมนุษย์ที่สร้างภาพและเสียงไปพร้อมกันตัวแรก โดยมองเสียงและใบหน้าของคนที่กำลังพูดเป็นโจทย์เดียว

งานวิจัยครอบคลุมชิ้นส่วนที่การแปลแบบมัลติโมดัลต้องใช้ ทั้งโมเดลมนุษย์ที่สร้างภาพและเสียงไปพร้อมกัน โมเดลวิดีโอแบบรวดเร็ว การแก้ไขวิดีโอ และการรับรู้แบบมัลติโมดัล บทความและเวทีตีพิมพ์ทั้งหมดอยู่ในภาพรวมงานวิจัยของเรา ส่วนเหตุผลนั้นเป็นเรื่องส่วนตัว An Zhu Liu ซีอีโอ เคยพูดภาษาอังกฤษกับเพื่อนร่วมชั้นไม่ได้ตอนเด็ก และเรียนภาษาจากโทรทัศน์ เรื่องนี้เล่าไว้ในหน้าพันธกิจของเรา

02. ทำไมงานพากย์ต้องผ่านเครื่องมือแยกกัน

เพราะแต่ละชิ้นถูกแก้โจทย์แยกกันก่อน การพากย์ด้วยเครื่องจึงมาในรูปของสายพาน และสายพานนั้นคือสิ่งที่ทำให้มันเกิดขึ้นได้ตั้งแต่แรก แต่ก็กำหนดขีดจำกัดของมันไว้ด้วย และเครื่องมือที่สร้างขึ้นหลังจากนั้นก็ยังต้องแลกระหว่างคุณภาพกับเวลา เครื่องมือช่วยงานไปถึงคุณภาพได้ด้วยทีมศิลปิน VFX และเวลาหลายสัปดาห์ต่อโปรเจกต์ ทุกภาษาคือโปรเจกต์ใหม่ ส่วนเครื่องมือแบบครั้งเดียวจบเร็ว แต่ต้องยอมเสียอย่างอื่นไปทั้งหมด ปากขยับพลาดเมื่อมีมือบังใบหน้า ไมโครโฟน ภาพเบลอ โบเก้ มุมข้าง หรือมีหลายคนอยู่ในเฟรม โดยไม่มีการให้เหตุผลเชิงพื้นที่ และไม่มีความเข้าใจโลก Familiar คือครั้งเดียวจบและได้คุณภาพ

++

Familiar คือโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่พาถ้อยคำ เสียง ริมฝีปาก และฉาก ไปสู่ภาษาใหม่ทั้งหมดในคราวเดียว

การเปรียบเทียบทีละขั้นอยู่ในแปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ ส่วนนิยามอยู่ในโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

03. การบุกเบิกในที่นี้หมายถึงอะไร

สามอย่างที่มาอยู่ด้วยกันเป็นครั้งแรก อย่างแรกคือเสียงและภาพถูกพาไปสู่ภาษาใหม่พร้อมกันโดยโมเดลเดียว การตัดสินใจทั้งหมดจึงสอดคล้องกัน เสียงเป็นของนักแสดงเอง ริมฝีปากตามคำใหม่ และเสียงหัวเราะ เสียงฝูงชน กับเสียงดนตรียังอยู่ที่เดิม

อย่างที่สองคือลำดับ แปลก่อน แล้วพากย์ทั้งหมดในครั้งเดียว ทั้งเสียง ริมฝีปาก และฉากไปพร้อมกัน ถ้อยคำถูกกำหนดและผ่านการตรวจจากครีเอทีฟไดเรกเตอร์ของคุณก่อนที่จะมีการลงเสียงใดๆ

อย่างที่สามคือบันทึก ทุกการตัดสินใจที่ MLDM ทำถูกบันทึกไว้กับงาน และคุณแก้ไขได้ทั้งหมด รายละเอียดฉบับเต็มอยู่ในบันทึกการตัดสินใจ: ครีเอทีฟไดเรกเตอร์กำกับ MLDM อย่างไร ส่วน MLDM คืออะไรอยู่ในบทความนิยาม

04. โมเดลตัดสินใจอะไร และคุณเลือกอะไรได้

ผลงานวิจัยจะกลายเป็นผลิตภัณฑ์ได้เมื่อคนที่ใช้งานยังเป็นผู้คุม MLDM สำหรับงานส่วนที่จุกจิกน่าเบื่อ ส่วนการตัดสินใจเชิงสร้างสรรค์ยังเป็นของคุณ

05. อะไรยังอยู่ระหว่างพัฒนา

การบุกเบิกหมายถึงเวอร์ชันแรก ไม่ใช่เวอร์ชันสุดท้าย ตัวเลือกด้านการแปลเปิดให้ใช้แล้ววันนี้ ส่วนที่เหลือของบันทึกจะเปิดตามมาทีละขั้น

1. วันนี้

   ครีเอทีฟไดเรกเตอร์ของคุณตรวจการตัดสินใจด้านการแปล

   คำแปลแต่ละแบบพร้อมเหตุผล ส่วนรายการคำที่ไม่แปลและบริบทหนึ่งประโยคติดไปกับงานด้วย
2. อยู่ระหว่างพัฒนา

   การตัดสินใจด้านเสียงและภาพ ในหน้าตรวจสอบเดียวกัน

3. อยู่ระหว่างพัฒนา

   ข้อความในเฟรม

   หน้าจอโทรศัพท์ ปกหนังสือ ป้ายถนน เขียนด้วยคำที่คุณเลือกไว้แล้ว แบรนด์หรือชื่อคงไว้ตามที่ถ่ายมา โดยโมเดลตัดสินใจเองทันที ถุง Tostitos จึงยังเป็น Tostitos
4. อยู่ระหว่างพัฒนา

   การพากย์สด

06. สิ่งนี้เปลี่ยนอะไรสำหรับคนบนจอ

การพากย์โดยมนุษย์ไม่เคยเข้าถึงได้สำหรับคนส่วนใหญ่ของโลก แม้แต่งานโปรดักชันระดับท็อปก็พากย์ได้เพียงไม่กี่ภาษา เพราะทั้งต้นทุน กำลังคน และเวลาที่ต้องใช้ ส่วนงานโปรดักชันขนาดเล็ก รายการ และซีรีส์แนวตั้งส่วนใหญ่แทบไม่พากย์เลย โมเดลพื้นฐานสำหรับการแปลแบบมัลติโมดัลมอบการแสดงเดิมในอีกภาษาหนึ่งให้กับทุกเรื่อง ทั้งเสียง ริมฝีปาก และสีหน้าของนักแสดงใน 30 ภาษา ส่งมอบที่ความละเอียดสูงสุด 4K พร้อมมิกซ์เสียงรอบทิศทาง 5.1 แท้ หรือสเตอริโอ ในรูปแบบ 24-bit PCM (ไฟล์ที่ส่งมอบ)

คำแปลวัดได้ 100.3% ของคุณภาพงานแปลจากนักแปลมนุษย์ระดับผู้เชี่ยวชาญ ถือว่าเทียบเท่ากัน การศึกษาทั้งหมดอยู่ที่ /benchmark ไม่ใช่ “Generative AI” แต่คือการแปลที่เสริมพลังให้คนทำงานสร้างสรรค์ จากคนสู่คน ไปถึงผู้ชมได้กว้างไกลกว่าเดิม สิ่งนี้มีความหมายอย่างไรต่อคลังคอนเทนต์อยู่ในบทความสำหรับสตูดิโอและแพลตฟอร์ม

คำถาม