บันทึกงานวิจัย

อะไรคือสิ่งสำคัญในการแปลวิดีโอ

FAMILIAR งานวิจัยอัปเดตเมื่อ บทความทั้งหมด
อ่านบทความนี้เป็นภาษาEnglishEspañolPortuguês中文日本語한국어FrançaisDeutschالعربيةBahasa IndonesiaРусскийItalianoTiếng ViệtไทยNederlandsΕλληνικάУкраїнська粵語NorskCatalàHrvatskiLietuviųSlovenčinaSvenskaБългарскиСрпскиБеларускаяDanskҚазақшаLatviešu

บทคัดย่อ

งานพากย์จะยืนได้หรือไม่ขึ้นอยู่กับสี่อย่าง คำแปลอ่านแล้วเหมือนเขียนด้วยภาษาปลายทางตั้งแต่ต้น เสียงยังฟังเป็นผู้พูดคนเดิม ข้อความบนหน้าจอถูกถ่ายทอดไปด้วย และปากขยับตรงกับคำ สองข้อแรกเป็นด่านของทุกอย่างที่เหลือ และสุดท้ายทั้งสี่ข้อคือโจทย์เดียวกัน คือการแสดงเดิมในอีกภาษาหนึ่ง

สี่โจทย์

ถามว่าอะไรทำให้วิดีโอพากย์ออกมาดี แล้วคุณจะได้รายการยาวเหยียด แต่ย่อลงได้เหลือสี่ข้อ:

คำแปลที่เป็นธรรมชาติ
แบบที่ดีคืออะไรบทใหม่ในภาษาปลายทางที่ถ่ายทอดเนื้อหาของวิดีโอได้ดี ไม่ใช่การจับคู่ทีละประโยค
เสียงที่เป็นธรรมชาติ
แบบที่ดีคืออะไรคนเดิม อารมณ์เดิม จุดเน้นเดิม ในภาษาใหม่
ข้อความบนหน้าจอ
แบบที่ดีคืออะไรปรับให้เข้ากับภาษาและจังหวะที่ข้อความนั้นปรากฏ โดยไม่ทำให้วิดีโอเสียหาย
ลิปซิงค์
แบบที่ดีคืออะไรมองไม่เห็นเลย ผู้ชมไม่รู้ตัวด้วยซ้ำว่ามีอะไรเปลี่ยนไป

ถ้าสองข้อแรกพลาด ที่เหลือก็ไม่มีความหมาย ประโยคที่แปลผิดหรือเสียงที่ฟังออกว่าไม่ใช่คนเดิม ก็พอจะทำให้งานพากย์นั้นจบแล้ว ส่วนสองข้อหลังเป็นตัวตัดสินว่าผลงานจะรู้สึกเหมือนต้นฉบับ หรือรู้สึกเหมือนงานพากย์

คำแปลที่เป็นธรรมชาติ: บทใหม่ ไม่ใช่การจับคู่

แต่ละภาษามีวิธีพูดของตัวเอง ทั้งคำศัพท์ สำนวน โครงสร้างประโยค คำเรียกขาน และแม้แต่ว่าเรื่องไหนควรพูดออกมาหรือไม่ พอสั่งให้โมเดล “แปล” มันก็จับคู่ประโยคจากภาษา A ไปภาษา B ทีละประโยค คนก็เป็นแบบเดียวกัน เมื่อถูกวางบทบาทเป็นนักแปล งานก็ถูกย่อเหลือแค่การแปลงประโยค

งานพากย์ที่แปลแบบนั้นฟังเข้าใจได้ แต่ผิด

สิ่งที่ผู้ชมต้องการคือบทใหม่ที่เขียนด้วยภาษาปลายทาง และถ่ายทอดเนื้อหาของวิดีโอได้ดี
  • ภาษาญี่ปุ่น มักเลี่ยงการพูดตรงเกินไป ประโยคที่เป็นธรรมชาติจึงมักต้องสร้างใหม่ให้อ้อมขึ้น ไม่ใช่แค่ลดความแข็งทีละคำ
  • ภาษาเกาหลี ละประธานอยู่ตลอด ถ้ายกสรรพนามแบบภาษาอังกฤษไปใส่ในความถี่เท่าภาษาอังกฤษ ก็จะอ่านแล้วแปร่งแม้ทุกคำจะถูก
  • ลำดับคำ ระดับภาษา คำยกย่อง และสิ่งที่แต่ละวัฒนธรรมไม่พูดออกมา ล้วนเปลี่ยนไปตามภาษา คำแปลไม่ได้ดีเพียงเพราะความหมายตามตัวอักษรยังอยู่ครบ

คำว่า “ดี” ทำเป็นเช็กลิสต์ไม่ได้ เราจึงย่อเป้าหมายเหลือประโยคเดียว คือถ่ายทอดเนื้อหาของวิดีโอให้ดีในภาษาปลายทาง และสิ่งนี้วัดได้:

100.3%

ของคุณภาพงานแปลจากนักแปลมนุษย์ระดับผู้เชี่ยวชาญ คือผลของ Familiar ให้คะแนนแบบปกปิดเทียบกับฉบับแก้ไขอ้างอิงของผู้เชี่ยวชาญ

ฝรั่งเศส จีน ฮินดี อินโดนีเซีย (ร่างแรกของนักแปลมืออาชีพระดับผู้เชี่ยวชาญ)
54.7%

Familiar แปลผิดจุดสำคัญน้อยกว่าบนคลิปชุดเดียวกัน (29 เทียบกับ 64)

เทียบกับ ELEVENLABS DUBBING V2 (ALPHA) · งานพากย์เทียบคู่ 111 ชิ้น · 3 ภาษา

เสียงที่เป็นธรรมชาติ: คนเดิม ในภาษาใหม่

เรื่องการออกเสียงแทบจะแก้ได้แล้ว ความผิดพลาดที่น่าสนใจอยู่เลยจากตรงนั้นไป:

  • ตัวตน: คนเดิมต้องฟังเป็นคนเดิมในทุกภาษา
  • อารมณ์: สิ่งที่ผู้พูดรู้สึกต้องรอดผ่านการเปลี่ยนภาษาไปได้
  • จุดเน้น จังหวะ และเจตนา: ประโยคเอนไปทางไหน เดินเร็วแค่ไหน และพยายามจะทำอะไร

เป้าหมายย่อลงได้แบบเดียวกับเป้าหมายของคำแปล คือเสียงต้องตรงกับวิดีโอ ไม่ใช่ “สร้างภาษา B ด้วยเสียงจากภาษา A” แต่คือการแสดงเดิม ในภาษาใหม่ และฉากก็เป็นส่วนหนึ่งของเสียงด้วย ทั้งเสียงหัวเราะ เสียงดนตรี และเสียงบรรยากาศของห้อง

270%

ElevenLabs ทำให้เสียงพื้นหลังเสียหายมากกว่า (11.92 เทียบกับ 3.22 dB) ทั้งดนตรี เสียงประกอบ และเสียงบรรยากาศ

การศึกษา DUBBING V2 (ALPHA) · คลิปชุดเดียวกัน
+27.8%

เสียงของ Familiar เหมือนผู้พูดตัวจริงมากกว่า (0.461 เทียบกับ 0.360) ใกล้เคียงกว่าครบทั้ง 11 ภาษา

เทียบกับ ELEVENLABS · การศึกษา DUBBING V1 · งานพากย์เทียบคู่ 418 ชิ้น
ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

ข้อความบนหน้าจอคือส่วนหนึ่งของวิดีโอ

วิดีโอยุคนี้พึ่งข้อความบนหน้าจออย่างมาก ทั้งแคปชัน มุกตลก มีม หรือคำเดียวที่โผล่มาตามจังหวะ ทุกอย่างคือเหตุการณ์ทางภาพในภาษาต้นฉบับ การปรับข้อความเหล่านี้มีเงื่อนไขสองข้อ:

  • ห้ามทำให้วิดีโอเสียหาย ร่องรอยการแก้หรือสิ่งที่รบกวนสายตาจะทำให้ผลงานแย่กว่าต้นฉบับ
  • ห้ามแปลตามตัวอักษร ต้องเข้าใจก่อนว่าทำไมข้อความนี้จึงปรากฏในจังหวะนี้ ตรงตำแหน่งนี้ แล้วจึงจะปรับได้

วันนี้โมเดลตัดสินใจด้านโลคัลไลเซชันแบบมัลติโมดัล (MLDM) ของ Familiar ซึ่งเป็นโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล กระบวนทัศน์ใหม่ ครั้งแรกของวงการ แปลชื่อวิดีโอ คำอธิบาย และซับไตเติลไปพร้อมกับงานพากย์ ส่วนข้อความในเฟรมยังอยู่ระหว่างพัฒนา ไม่ว่าจะเป็นหน้าจอโทรศัพท์หรือป้ายถนน จะเขียนด้วยคำที่คุณเลือกไว้แล้ว โดยโมเดลตัดสินใจเองทันทีว่าแบรนด์หรือชื่อไหนคงไว้ตามที่ถ่ายมา ถุง Tostitos จึงยังเป็น Tostitos และคุณเลือกได้ว่าจะแปลข้อความไหน กติกายังเหมือนเดิม ถ้าการแก้ไขนั้นถูกสังเกตเห็นได้ ก็ยังดีไม่พอ

โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล

ลิปซิงค์: สำเร็จได้ด้วยการไม่ถูกสังเกต

ลิปซิงค์มีเงื่อนไขข้อเดียวกัน คือห้ามทำให้วิดีโอเสียหาย คำชมสูงสุดที่ลิปซิงค์ของงานพากย์จะได้รับ คือคำถามว่า “มีอะไรเปลี่ยนไปเหรอ”

ฟังดูเหมือนเป็นข้อที่สำคัญน้อยที่สุดในสี่ข้อ แต่ในประสบการณ์รับชมจริงเกือบจะตรงกันข้าม มนุษย์ฟังด้วยตา เสียงเดียวกันจะถูกได้ยินเป็นคนละเสียงเมื่อปากขยับต่างกัน นี่คือปรากฏการณ์ McGurk ปากที่ไม่ตรงกับเสียงคือเหตุผลหนึ่งที่วิดีโอพากย์ทำให้รู้สึกอึดอัด ในแบบที่ผู้ชมบอกไม่ถูกว่าเพราะอะไร
McGURK & MacDONALD, “HEARING LIPS AND SEEING VOICES,” NATURE 264 (1976)

ปรากฏการณ์นี้ยังช่วยงานพากย์ได้ด้วย เมื่อปากตรงกับเสียง สมองจะตีความสิ่งที่กำกวมให้ไปในทางเดียวกัน การออกเสียงจึงฟังชัดขึ้น และน้ำเสียงก็ฟังเหมือนคนเดิมมากขึ้น

ส่วนที่ยากคือเสียงพูดจากนอกจอ ผู้พูดหลายคนพูดซ้อนกัน คนที่หน้าตาหรือเสียงคล้ายกัน และการแก้ปากโดยไม่ทำให้ใบหน้าพัง ลองมีสองคนอยู่บนจอ เครื่องมือในวันนี้จะลิปซิงค์ปากทั้งสองคนพร้อมกัน

ริมฝีปากเป็นแค่จุดเริ่มต้น คนเราแสดงประโยคหนึ่งด้วยทั้งใบหน้า ทั้งดวงตา คิ้ว แก้ม และศีรษะ และด้วยร่างกาย ทั้งท่าทาง การพยักหน้า และจังหวะครึ่งจังหวะของการฟัง

โจทย์เดียว ไม่ใช่สี่โจทย์

เงื่อนไขแต่ละข้อย่อลงมาเหลือประโยคเดียวกันเสมอ คำแปลที่เป็นธรรมชาติ คือเขียนสิ่งที่วิดีโอนี้พูดในภาษาปลายทาง เสียงที่เป็นธรรมชาติ คือคงการแสดงเดิมไว้ในถ้อยคำใหม่ ข้อความบนหน้าจอ คือเข้าใจก่อนว่ามันอยู่ตรงนั้นทำไม แล้วจึงแตะต้อง ลิปซิงค์ คือแก้ตัวบุคคลโดยไม่ทำให้เขาพัง

การแสดงเดิม ในอีกภาษาหนึ่ง

นั่นคือสิ่งที่ MLDM ตัดสินใจ วัดบนคลิปชุดเดียวกันและเผยแพร่ไว้ที่ /benchmark ทุกการตัดสินใจถูกบันทึกไว้กับงานและแก้ไขได้ วันนี้ครีเอทีฟไดเรกเตอร์ของคุณเลือกคำแปลแต่ละแบบได้เอง

แหล่งอ้างอิง

  1. [1]เบนช์มาร์ก Familiar เทียบกับ ElevenLabs: ผลฉบับเต็ม ช่วงความเชื่อมั่น และตัวอย่างเสียงให้ลองฟัง
  2. [2]AI เทียบกับนักแปลมนุษย์: ทดสอบเทียบกับมืออาชีพ
  3. [3]ลิปซิงค์ด้วย AI: คืออะไร พลาดตรงไหน และอะไรดีกว่า
  4. [4]ทำไมงานพากย์ถึงดูไม่เป็นธรรมชาติในต่างประเทศ และสตูดิโอแก้อย่างไร (ข้อโต้แย้งเดียวกันนี้ในมุมของสตูดิโอ)
  5. [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)

การแปลแบบมัลติโมดัล

Familiar Labs สร้างงานพากย์ที่ก้าวกระโดดไปอีกขั้น ด้วยโมเดลตัดสินใจด้านโลคัลไลเซชันแบบมัลติโมดัล (MLDM) โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่น ทั้งในข้อความ เสียง และภาพ พร้อมแสดงตัวเลือกให้คุณเห็น เสียงและริมฝีปากของคุณ ถ่ายทอดสู่ภาษาใหม่ ทีม 8 คนที่มีปริญญาเอก ได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House ภารกิจของเรา

ดูเบนช์มาร์กฉบับเต็ม →คุยกับทีม