คำถาม
งานพากย์ที่ก้าวกระโดดไปอีกขั้น: เสียงและริมฝีปากของคุณ ถ่ายทอดสู่ภาษาใหม่ เอา ElevenLabs กับ HeyGen มาต่อกัน ทั้งเสียงทั้งหน้าก็ยังเหมือนคนแปลกหน้าอยู่ดี และนี่ไม่ใช่แค่ลิปซิงค์ด้วย AI แต่ทั้งใบหน้าแสดงเป็นภาษาใหม่ รวมถึงการบดบังและการให้เหตุผลเชิงพื้นที่
- ผลิตภัณฑ์ใหม่ล่าสุดของเขาทำข้อผิดพลาดด้านเสียงพื้นหลังมากกว่าถึง 270% ทั้งเสียงหัวเราะ เสียงดนตรี และเสียงบรรยากาศ
- เราแปลผิดจุดสำคัญน้อยกว่าผลิตภัณฑ์นั้นถึง 54.7%
- บน Dubbing v1 ของเขา เสียงของเราเหมือนผู้พูดตัวจริงมากกว่าถึง 27.8% ใกล้เคียงกว่าครบทั้ง 11 ภาษา
กับคลิปชุดเดียวกัน ElevenLabs
- ทำคำตกหล่นหรือแต่งคำขึ้นมาเอง 45 ครั้ง
- เสียงหัวเราะและเสียงประกอบพังไป 8 ครั้ง
- เสียงหลุดจากตัวผู้พูด 6 ครั้ง
- เสียงคนที่พูดซ้อนกันตีกัน 6 ครั้ง
- ลีลาการพูดแบนเรียบไป 4 ครั้ง
- เสียงบรรยากาศของฉากหายไป 4 ครั้ง
- API ของเขาไม่รับคลิปที่สั้นกว่า 11 วินาที
ถ้าเอาเครื่องมือมาต่อกันเองจะตกอยู่ที่ $11 ต่อนาที คือค่าลิปซิงค์ของ Sync.so $8 บวกค่าเสียงของ ElevenLabs อีก $3 ส่วนงานพากย์ของ Familiar Labs มาครบทั้งเสียง ลิปซิงค์ และการแปล ส่งมอบที่ความละเอียดสูงสุด 4K พร้อมมิกซ์เสียงรอบทิศทาง 5.1 แท้ หรือสเตอริโอ
MLFM คือโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล กระบวนทัศน์ใหม่ ครั้งแรกของวงการ เป็นโมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่นและปรับอย่างไร ทั้งในข้อความ เสียง และภาพ พร้อมแสดงตัวเลือกที่สำคัญให้คุณเห็น แปลก่อน แล้วพากย์ทั้งหมดในครั้งเดียว ทั้งเสียง ริมฝีปาก และฉากไปพร้อมกัน
- ในการแปล: คำแปลแบบไหนถ่ายทอดมุกตลก เรื่องเล่า หรือจังหวะโต้ตอบในบทสนทนาได้ดีที่สุด อะไรไม่ต้องแปล จะคงคำสแลงไว้ตามที่พูด คงชื่อและแบรนด์เดิม เปลี่ยนการอ้างอิง ระวังสิ่งที่วัฒนธรรมนั้นเลี่ยง หรือปรับระดับคำหยาบให้เหมาะกับผู้ชม ครีเอทีฟไดเรกเตอร์ของคุณเห็นตัวเลือกพร้อมเหตุผลและเลือกเองได้
- ในเสียง: เลือกว่าจะแปลอะไรบ้าง โมเดลหาเสียงหลัก และคงเสียงหัวเราะ เสียงฝูงชน และเสียงตะโกนไว้อย่างเดิม ส่วนการเลือกว่าจะเก็บอะไรไว้เป็นภาษาต้นฉบับยังอยู่ระหว่างพัฒนา
- ในภาพ: ใครบนจอเป็นคนพูด ใครเป็นผู้บรรยาย ใครพูดจากนอกจอ ริมฝีปาก รวมถึงการบดบังและการให้เหตุผลเชิงพื้นที่ และสีหน้ากับท่าทางในจังหวะที่ต้องเน้น ส่วนข้อความในเฟรมยังอยู่ระหว่างพัฒนา โดยโมเดลจะตัดสินใจเองทันทีว่าอะไรคงไว้ตามที่ถ่ายมา ทั้งแบรนด์ ชื่อ และคำสแลง ถุง Tostitos จึงยังเป็น Tostitos และจะมาพร้อมการเลือกใบหน้าและเลือกข้อความที่จะแปล
ทุกการตัดสินใจถูกบันทึกไว้กับงานพากย์นั้น และคุณแก้ไขได้ ไม่มีพรอมต์ และไม่มีอะไรถูกแต่งขึ้นใหม่ เพียงตัดสินใจว่าจะปรับสิ่งที่มีอยู่แล้วให้เข้ากับท้องถิ่นอย่างไร

