คำตอบโดยสรุป
ฉบับย่อ
- สามจุดบกพร่องที่ทำให้งานพากย์ดูไม่เป็นธรรมชาติ: เสียงของคนแปลกหน้า ปากที่ยังพูดภาษาต้นทาง และฉากที่แบนลงใต้บทพูดใหม่
- กับคลิปชุดเดียวกัน ElevenLabs Dubbing v2 (Alpha) ทำข้อผิดพลาดด้านเสียงพื้นหลังมากกว่าถึง 270% ทั้งเสียงหัวเราะ เสียงดนตรี และเสียงบรรยากาศ (ผลลัพธ์เทียบคู่ 111 รายการ 5 สิงหาคม 2026)
- เสียงของ Familiar เหมือนผู้พูดตัวจริงมากกว่า ElevenLabs Dubbing v1 ถึง 27.8% ใกล้เคียงกว่าครบทั้ง 11 ภาษา (ผลลัพธ์เทียบคู่ 418 รายการ 5 สิงหาคม 2026)
- นักแปลของสตูดิโอเองแก้ไขบรรทัดที่แปลแล้วได้ทุกบรรทัดก่อนเรนเดอร์ และแต่ละภาษาเรนเดอร์เมื่อได้รับอนุมัติของตัวเอง
01.ทำไมงานพากย์ถึงดูไม่เป็นธรรมชาติ
สองในสามจุดบกพร่องนี้มีมาก่อนยุค AI นักพากย์ก็คือเสียงของคนแปลกหน้าเช่นกัน และไม่มีห้องอัดไหนทำให้ปากของนักแสดงขยับตาม การพากย์ด้วย AI แบบเสียงอย่างเดียวอาจเพิ่มจุดที่สาม คือฉากที่แบนลง ซึ่งวัดผลไว้ด้านล่าง
- เสียงของคนแปลกหน้า ไม่ว่าจะเป็นนักพากย์หรือเสียงสำเร็จรูปที่อ่านบทพูด คนที่รู้จักนักแสดงจะจำเสียงไม่ได้อีกต่อไป (อธิบายการพากย์วิดีโอด้วย AI (2026))
- ปากที่พูดคนละภาษา สมองเข้าใจคำพูดจากทั้งการขยับปากและเสียงประกอบกัน เมื่อสองอย่างนี้ไม่ตรงกัน ผู้ชมจะฟังเข้าใจยากขึ้น หรืออาจได้ยินเป็นคนละเสียงไปเลย นั่นคือปรากฏการณ์แม็คเกอร์ก (McGurk effect) ซึ่งเป็นส่วนหนึ่งของการผสานภาพและเสียงเข้าด้วยกันในการรับรู้คำพูด งานพากย์ที่เปลี่ยนแค่เสียงจะทิ้งความไม่ตรงกันนี้ไว้ในทุกเฟรม
- ฉากที่แบนลง เสียงหัวเราะ เสียงดนตรี เสียงประกอบ และเสียงบรรยากาศของห้อง ถูกตัดทิ้งหรือเบลอไปใต้เสียงพูดใหม่
- การแปลแบบประโยคต่อประโยค บรรทัดที่แปลตรงตัวคำต่อคำอ่านแล้วรู้สึกเป็นภาษาต่างชาติแม้จะถูกต้อง และมุกตลกก็มาช้าหรือไม่ขำเลย (สิ่งที่สำคัญในการแปลวิดีโอ)
02.ผลการวัดบอกอะไร
ElevenLabs Dubbing v2 (Alpha) ทำข้อผิดพลาดด้านเสียงพื้นหลังมากกว่าถึง 270% ทั้งเสียงหัวเราะ เสียงดนตรี และเสียงบรรยากาศ
11.92 เทียบกับ 3.22 dB · ELEVENLABS DUBBING V2 (ALPHA) · ผลลัพธ์เทียบคู่ 111 รายการ · จีนกลาง สเปน ญี่ปุ่น · 5 สิงหาคม 2026เสียงของ Familiar เหมือนผู้พูดตัวจริงมากกว่า ElevenLabs Dubbing v1 ถึง 27.8% ใกล้เคียงกว่าครบทั้ง 11 ภาษา
0.4605 เทียบกับ 0.3604 · ELEVENLABS DUBBING V1 · ผลลัพธ์เทียบคู่ 418 รายการ · 11 ภาษา · 5 สิงหาคม 2026ของคุณภาพร่างแรกของนักแปลมืออาชีพระดับผู้เชี่ยวชาญ เฉลี่ยทั้งภาษาฝรั่งเศส จีน ฮินดี และอินโดนีเซีย ให้คะแนนแบบปกปิดเทียบกับฉบับแก้ไขอ้างอิงของผู้เชี่ยวชาญ ถือว่าเสมอกัน
การศึกษาการแปลในระบบโปรดักชัน เทียบกับร่างแรกของนักแปลมืออาชีพระดับผู้เชี่ยวชาญ · สิงหาคม 2026กลุ่มตัวอย่าง ElevenLabs ทั้งสองชุดและการศึกษาเทียบกับนักแปลมนุษย์ไม่เคยถูกนำมารวมกัน ข้อมูลฉบับเต็ม ช่วงความเชื่อมั่น และตัวอย่างเสียงให้ลองฟัง: Familiar เทียบกับ ElevenLabs และ เทียบกับนักแปลมืออาชีพ ส่วนระเบียบวิธีอยู่ใน AI เทียบกับการแปลโดยมนุษย์: ทดสอบกับนักแปลมืออาชีพ (2026)
- ตัวคำแปล เทียบกับ ElevenLabs Dubbing v2 (Alpha) Familiar แปลผิดจุดสำคัญในเสียงพูดน้อยกว่าถึง 54.7% (29 เทียบกับ 64)
- ข้อผิดพลาดในเสียงพากย์ เทียบกับ ElevenLabs Dubbing v1 Familiar มีข้อผิดพลาดในเสียงพากย์ที่ผู้ตรวจสอบติดธงไว้น้อยกว่าถึง 48.8% (132 เทียบกับ 258)
03.อะไรเปลี่ยนไปเมื่อเสียง ปาก และฉากมาจากโมเดลเดียว
โมเดลเดียวสร้างทั้งเสียง ลิปซิงค์ และฉากไปพร้อมกัน เข้าใจทั้งฉากและโลก และคงตัวตนของแต่ละคนไว้ต่อเนื่อง การแสดงของนักแสดงคนเดิมจึงยังอยู่ครบ ไม่ใช่เสียงของคนแปลกหน้าทับใบหน้าที่ปากขยับไม่ตรงกัน
- เสียงมาจากการแสดงของนักแสดงเอง การพากย์ไม่ใช่การแปลงข้อความเป็นเสียงพูด แต่รับเสียงต้นฉบับเข้ามา แล้วคงตัวตนและลีลาการพูดของผู้พูดไว้
- ใบหน้าแสดงใหม่ ทั้งดวงตา คิ้ว แก้ม และการขยับศีรษะ ทั้งใบหน้าแสดงเป็นภาษาใหม่ ปากที่ผู้ชมเห็นจึงตรงกับคำที่ได้ยิน (ลิปซิงค์ด้วย AI: คืออะไร พลาดตรงไหน และอะไรดีกว่า (2026))
- ฉากรอดจากการพากย์ เสียงหัวเราะ เสียงดนตรีและเบส เสียงประกอบ เสียงบรรยากาศของห้อง ช่วงที่โมเดลตรวจพบว่าเป็นเพลงจะผ่านไปโดยไม่ถูกแตะต้อง มิกซ์ที่เสร็จแล้วส่งมอบเป็นระบบเสียงรอบทิศทาง 5.1 แท้
- ทุกคนที่อยู่หน้ากล้องได้รับการพากย์ ด้วยเสียงของตัวเอง ฉากหนังสามผู้พูดที่ /demos พากย์จากอังกฤษเป็นสเปน ไมค์บังปาก มือบังใบหน้า โมเดลก็ยังเข้าใจการบดบัง
- ชื่อ สถานที่ และคำพูดติดปากคงไว้ตามที่พูดเป๊ะๆ ผ่านรายการคำที่ไม่แปล (Do Not Translate) ที่สตูดิโอควบคุมเอง ส่วนมุกตลกจะถูกเขียนใหม่ให้ขำในภาษาปลายทาง
- การเรนเดอร์ครั้งเดียวได้ครบทั้งคำแปล เสียงของนักแสดง เสียงของฉาก และลิปซิงค์
04.สตูดิโอใช้งานจริงอย่างไร
- ตรวจสอบก่อนเรนเดอร์ แยกตามภาษา ไปป์ไลน์จะหยุดที่ขั้นตอนตรวจสอบ ให้นักแปลของสตูดิโอเองแก้ไขบรรทัดที่แปลแล้วได้ทุกบรรทัด แต่ละภาษาเรนเดอร์เมื่อได้รับอนุมัติของตัวเอง (บทถอดเสียงและการตรวจสอบ)
- คำอธิบายบริบทหนึ่งประโยค ใครอยู่หน้ากล้องและรายการนี้เกี่ยวกับอะไร ตั้งค่าในระดับครีเอเตอร์สำหรับทั้งซีรีส์ หรือในระดับงานสำหรับตอนเดียว ระดับที่แคบกว่าจะถูกใช้ก่อน (บริบท)
- รายการคำที่ไม่แปลในสามระดับเดียวกัน ชื่อหรือคำพูดติดปากของตัวละครจึงคงเดิมในตอนที่ 60 เหมือนตอนที่ 1 (รายการคำที่ไม่แปล)
- Webhook dub.ready_for_review เมื่อคำแปลพร้อมให้ตรวจ และ dub.output_ready ทุกครั้งที่ภาษาหนึ่งเสร็จ (Webhook)
- 30 ภาษา แปลได้ทุกภาษาไปทุกภาษา แบ่งเป็น 3 ระดับคุณภาพที่เผยแพร่ไว้ เรียงจากระดับที่ดีที่สุด (ภาษาที่รองรับ)
- มาตรฐานอ้างอิง การพากย์โดยมนุษย์แบบครบวงจร ทั้งแปลและลงเสียง อยู่ที่ $70 ถึง $150 ต่อนาทีชิ้นงานสำเร็จ Familiar ส่งมอบในระดับเดียวกัน ภาพ 4K และมิกซ์ 5.1 ภายใต้สัญญา Studio ที่ปรับขนาดตามคลังคอนเทนต์
| สิ่งที่ส่งมอบ | รูปแบบ | หมายเหตุ |
|---|---|---|
| วิดีโอที่เสร็จสมบูรณ์ | ความละเอียดสูงสุด 4K ไฟล์มาสเตอร์ ProRes สำหรับงานส่งมอบภายใต้สัญญา Studio ส่วนทาง API เป็น mp4 | พร้อมโพสต์ |
| ซับไตเติล | .srt และ .vtt | สร้างจากบทถอดเสียงที่ตรวจสอบแล้ว ไม่ขายแยก |
| ไฟล์เสียงแยกต่างหาก | มิกซ์ 5.1 หรือสเตอริโอ ในไฟล์ WAV แบบ PCM 24 บิต หรือแทร็กเสียงพากย์อย่างเดียว | สำหรับให้สตูดิโอมิกซ์เอง |
| ชื่อวิดีโอและคำอธิบาย | แปลให้ทุกภาษา | ลิงก์ แฮนเดิล แฮชแท็ก และไทม์สแตมป์ของบท คงเดิมทุกตัวอักษร |
05.สตูดิโอควรทดสอบอะไรก่อนตัดสินใจทั้งซีซัน
- เลือกตอนที่ยากที่สุด ตอนที่บทพูดเร็ว มีมุกตลก มีจุดพลิกทางอารมณ์ มีชื่อเฉพาะ และมีเสียงดนตรีใต้เสียงพูด ฉากที่ง่ายและสะอาดพิสูจน์อะไรเกี่ยวกับทั้งซีซันไม่ได้
- เขียนเกณฑ์การยอมรับก่อนที่ใครจะเริ่มฟัง ผู้ตรวจสอบที่เป็นเจ้าของภาษาให้คะแนนคำแปล เสียง ฉาก และใบหน้าตามเกณฑ์นั้น และบันทึกวินาทีที่ความสมจริงขาดตอน ตารางให้คะแนนอยู่ใน วิธีทำโครงการนำร่องพากย์เสียงด้วย AI (2026)
- ใส่การแก้ไขช่วงท้ายเข้าไปด้วย ไฟล์มาสเตอร์ที่เปลี่ยนคือคำขอพากย์ใหม่ ขั้นตอนตรวจสอบคือจุดที่เช็กบรรทัดที่เปลี่ยน ส่วนรายการคำที่ไม่แปลและบริบทจะติดตามไปด้วย
คำถาม
ทำไมผู้ชมต่างประเทศบอกว่างานพากย์ดูไม่เป็นธรรมชาติ
สามอย่างแยกออกจากกัน เสียงเป็นของคนแปลกหน้า ปากยังพูดภาษาต้นฉบับ และเสียงดนตรีกับเสียงบรรยากาศใต้บทพูดถูกทำให้แบนลง ผู้ชมมักบอกสาเหตุไม่ได้ แต่ปากที่ไม่ตรงกับเสียงทำให้ฟังคำพูดเข้าใจยากขึ้น
ปัญหาอยู่ที่คำแปลหรือที่เสียง
ทั้งสองอย่าง และซ้ำเติมกัน การแปลแบบประโยคต่อประโยคอ่านแล้วรู้สึกเป็นภาษาต่างชาติแม้จะถูกต้อง และเสียงที่ถูกแทนก็ลบตัวนักแสดงออกไป กับคลิปที่เทียบคู่กัน เสียงของ Familiar เหมือนผู้พูดตัวจริงมากกว่า ElevenLabs Dubbing v1 ถึง 27.8% และในการศึกษาอีกชุดหนึ่ง คำแปลของ Familiar ได้ 100.3% ของคุณภาพร่างแรกของนักแปลมืออาชีพ ถือว่าเสมอกัน
นักแปลของเราเองยังตรวจบทพูดได้ไหม
ได้ ไปป์ไลน์จะหยุดที่ขั้นตอนตรวจสอบ ให้แก้ไขบรรทัดที่แปลแล้วได้ทุกบรรทัดก่อนเรนเดอร์ และแต่ละภาษาเรนเดอร์เมื่อผู้ตรวจสอบของภาษานั้นอนุมัติ สเปนออกได้ก่อนในขณะที่ญี่ปุ่นยังอยู่ระหว่างตรวจสอบ
ชื่อตัวละครและคำพูดติดปากคงเดิมทุกตอนไหม
คงเดิม รายการคำที่ไม่แปล (Do Not Translate) เก็บชื่อ สถานที่ และคำพูดติดปากไว้ตามที่พูดเป๊ะๆ ทั้งในเสียงพากย์ ซับไตเติล และชื่อวิดีโอกับคำอธิบายที่แปลแล้ว ตั้งค่าในระดับครีเอเตอร์จะครอบคลุมทุกตอนของซีรีส์ ส่วนรายการในระดับงานจะมีผลเหนือกว่าสำหรับการอัปโหลดครั้งเดียว
เราจะได้รับอะไรบ้างต่อภาษา
วิดีโอที่เสร็จสมบูรณ์ความละเอียดสูงสุด 4K (ไฟล์มาสเตอร์ ProRes สำหรับงานส่งมอบภายใต้สัญญา Studio ส่วนทาง API เป็น mp4) ซับไตเติลเป็นไฟล์ .srt และ .vtt ที่สร้างจากบทถอดเสียงที่ตรวจสอบแล้ว ชื่อวิดีโอและคำอธิบายที่แปลแล้ว รวมถึงไฟล์เสียงแยกต่างหาก ทั้งมิกซ์แบบเต็มเป็นระบบเสียงรอบทิศทาง 5.1 แท้ หรือสเตอริโอ เลือกได้ตามต้องการ ในไฟล์ WAV แบบ PCM 24 บิต หรือแทร็กเสียงพากย์อย่างเดียวสำหรับให้สตูดิโอมิกซ์เอง
แหล่งอ้างอิง
- [1]เบนช์มาร์ก Familiar เทียบกับ ElevenLabs: ผลฉบับเต็ม ช่วงความเชื่อมั่น และตัวอย่างเสียงให้ลองฟัง
- [2]Familiar เทียบกับนักแปลมืออาชีพ: การศึกษาคุณภาพการแปล
- [3]บทถอดเสียงและการตรวจสอบ: ขั้นตอนตรวจสอบและการเรนเดอร์แยกตามภาษา (เอกสาร API)
- [4]สิ่งที่สำคัญในการแปลวิดีโอ (ปัญหาสี่ข้อ)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
การแปลแบบมัลติโมดัล
Familiar Labs สร้างงานพากย์เสียงที่ดีขึ้นแบบก้าวกระโดด ทั้งเสียงและริมฝีปาก และกำลังเดินหน้าสู่เรียลไทม์ ทีม 8 คนที่มีทั้งปริญญาเอกและศาสตราจารย์ ได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House ภารกิจของเรา
FAMILIAR · วิดีโอเปิดตัว · 2:31