โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล

01. โมเดลพื้นฐานสำหรับการแปลแบบมัลติโมดัลคืออะไร

วิดีโอบอกอะไรมากกว่าถ้อยคำ เสียงของผู้พูด การขยับปาก เสียงหัวเราะในห้อง และดนตรีใต้ฉาก ล้วนมีความหมาย การแปลวิดีโอให้ดีจึงหมายถึงการพาทั้งหมดนี้ข้ามไป และทำให้ทุกอย่างสอดคล้องกัน ประโยคต้องพอดีกับปาก เสียงต้องเข้ากับฉาก และคนบนจอต้องเป็นคนเดิมทุกประการ

โมเดลพื้นฐานสำหรับการแปลแบบมัลติโมดัล คือโมเดลเดียวที่ทำงานทั้งหมดนั้น รับฟุตเทจเข้ามาเป็นสิ่งเดียว แล้วตัดสินใจว่าแต่ละส่วนควรออกมาอย่างไรในภาษาใหม่ Familiar สร้างโมเดลแบบนี้ขึ้นเป็นรายแรก และเรียกมันว่า MLDM

02. ทำไมงานพากย์ต้องผ่านเครื่องมือแยกกันมาจนถึงวันนี้

การพากย์โดยมนุษย์ไม่เคยเข้าถึงได้สำหรับคนส่วนใหญ่ของโลก แม้แต่งานโปรดักชันระดับท็อปก็พากย์ได้เพียงไม่กี่ภาษา เพราะทั้งต้นทุน กำลังคน และเวลา ส่วนงานโปรดักชันขนาดเล็ก รายการ และซีรีส์แนวตั้งแทบไม่พากย์เลย การพากย์โดยมนุษย์แบบครบวงจร ทั้งแปลและลงเสียง อยู่ที่ $70 ถึง $150 ต่อนาทีชิ้นงานสำเร็จ

03. อะไรเปลี่ยนไปเมื่อโมเดลเดียวทำทั้งหมดในคราวเดียว

++

แปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ ครั้งแรกของวงการ

การแสดงของนักแสดงคนเดิมถูกถ่ายทอดออกมาครบ ทั้งเสียงของเขาเอง ริมฝีปากที่ขยับตามคำใหม่ สีหน้า และเสียงของฉากรอบตัว เสียงหัวเราะ เสียงฝูงชน และเสียงดนตรียังอยู่อย่างเดิม บนคลิปชุดเดียวกัน YouTube ทำข้อผิดพลาดด้านเสียงพื้นหลังมากกว่า Familiar ถึง 232.6% และถ้าดูเฉพาะตัวคำ คำแปลเทียบเท่าร่างแรกของนักแปลมืออาชีพระดับผู้เชี่ยวชาญ คือ 100.3% ของคุณภาพงานของพวกเขา ตัวเลขฉบับเต็มอยู่ในเบนช์มาร์ก

สิ่งนี้ยังเปลี่ยนงานรอบๆ การพากย์ด้วย เส้นทางคุณภาพสูงในวันนี้คือเครื่องมือช่วยงาน ทีมศิลปิน VFX ทำงานทีละช็อตเป็นเวลาหลายสัปดาห์ และทุกภาษาก็คือโปรเจกต์ใหม่ ส่วนเครื่องมือแบบครั้งเดียวจบในวันนี้เร็ว แต่ต้องยอมเสียอย่างอื่นไปทั้งหมด แก้คำแปลไม่ได้ เสียงดนตรีและเสียงบรรยากาศของห้องหายไป และปากก็ขยับพลาดในช็อตธรรมดา ทั้งมือบังใบหน้า ไมโครโฟน ภาพเบลอ โบเก้ มุมข้าง หรือมีหลายคนอยู่ในเฟรม ไม่มีการให้เหตุผลเชิงพื้นที่ และไม่มีความเข้าใจโลก Familiar คือครั้งเดียวจบและได้คุณภาพ อัปโหลดครั้งเดียว วิดีโอก็ไปถึงทุกภาษาที่คุณเลือกพร้อมกัน และการตัดสินใจทั้งหมดสอดคล้องกันเพราะมาจากโมเดลเดียว จึงไม่มีอะไรต้องมาเย็บต่อกันด้วยมือ

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

04. MLDM ตัดสินใจอะไร และคุณเลือกอะไรได้

โมเดลตัดสินใจด้านโลคัลไลเซชันแบบมัลติโมดัลก็คือตัวโมเดลเอง MLDM ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่นและปรับอย่างไร ทั้งข้อความ เสียง และภาพ นิยามฉบับเต็มอยู่ในโมเดลตัดสินใจด้านโลคัลไลเซชันแบบมัลติโมดัล (MLDM) คืออะไร

1. วันนี้

   การตัดสินใจด้านการแปล ตรวจโดยครีเอทีฟไดเรกเตอร์ของคุณ

   ทุกการตัดสินใจถูกบันทึกไว้กับงาน และคุณแก้ไขได้ทั้งหมด
2. อยู่ระหว่างพัฒนา

   การตัดสินใจด้านเสียงและภาพ ในหน้าตรวจสอบเดียวกัน

3. อยู่ระหว่างพัฒนา

   ข้อความในเฟรม และการพากย์สด

   หน้าจอโทรศัพท์หรือป้ายถนนที่เขียนด้วยคำที่คุณเลือกไว้แล้ว แบรนด์หรือชื่อคงไว้ตามที่ถ่ายมา โดยโมเดลตัดสินใจเองทันที ถุง Tostitos จึงยังเป็น Tostitos

บันทึกของตัวเลือกเหล่านั้นอยู่ในบันทึกการตัดสินใจ: ครีเอทีฟไดเรกเตอร์กำกับ MLDM อย่างไร

05. สตูดิโอได้อะไรจากโมเดลพื้นฐาน

MLDM สำหรับงานส่วนที่จุกจิกน่าเบื่อ การตัดสินใจเชิงสร้างสรรค์ยังอยู่กับคนที่สร้างผลงาน ส่วนโมเดลพาที่เหลือไปสู่ทุกภาษาพร้อมกัน

งานพากย์ทุกชิ้นประมวลผลบนคลัสเตอร์นั้น ไม่ผ่านผู้ให้บริการ inference ภายนอกรายใด สื่อของคุณจึงไม่รั่วไหลออกไป รายละเอียดอยู่ในเอกสารการประมวลผลแบบส่วนตัว และเอกสารไฟล์ที่ส่งมอบ เบื้องหลังคือทีมปริญญาเอกผู้บุกเบิกสาขาโมเดลมนุษย์ที่สร้างภาพและเสียงไปพร้อมกัน มีบทความวิจัย 22 เรื่อง ได้รับการอ้างอิงมากกว่า 10,000 ครั้ง โดยมี ศ. Xu Zheng และ ศ. Youngjung Uh เป็นที่ปรึกษา และได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House บทความวิจัยทั้งหมดอยู่ในงานวิจัยของเรา

06. โมเดลพื้นฐานสำหรับการแปลเป็น Generative AI หรือไม่

ไม่ใช่ในความหมายแบบดั้งเดิม IBM นิยาม Generative AI ไว้แบบนี้:

นั่นคือเครื่องมือที่ทรงพลังสำหรับการสร้างสิ่งใหม่ แต่ MLDM ไม่มีพรอมต์ และไม่มีอะไรถูกแต่งขึ้นใหม่ มันพาสิ่งที่มีอยู่แล้วไปสู่อีกภาษาหนึ่ง ไม่ใช่ “Generative AI” แต่คือการแปลที่เสริมพลังให้คนทำงานสร้างสรรค์ จากคนสู่คน ไปถึงผู้ชมได้กว้างไกลกว่าเดิม

บทความอื่นในชุดนี้: แปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ โมเดลพื้นฐานสำหรับการแปลแบบมัลติโมดัลมีความหมายอย่างไรต่อสตูดิโอและแพลตฟอร์ม และบุกเบิกการแปลแบบมัลติโมดัล

คำถาม