นิยาม

โมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล (MLFM) คืออะไร

FAMILIAR LABS งานวิจัยอัปเดตเมื่อ บทความทั้งหมด

บทคัดย่อ

โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล กระบวนทัศน์ใหม่ ครั้งแรกของวงการ MLFM คือโมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่น และปรับอย่างไร ทั้งในข้อความ เสียง และภาพ พร้อมแสดงตัวเลือกที่สำคัญให้คุณเห็น แปลก่อน แล้วพากย์ทั้งหมดในครั้งเดียว ทั้งเสียง ริมฝีปาก และฉากไปพร้อมกัน การตัดสินใจทั้งหมดสอดคล้องกันเพราะมาจากโมเดลเดียว และคนบนจอไม่เคยเปลี่ยนไป
โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัลแปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ

MLFM ตัดสินใจอะไรบ้าง

ข้อความ
คำแปลแบบไหนพาประโยคหนึ่งไปสู่ภาษาใหม่ได้ MLFM ชั่งน้ำหนักคำแปลหลายแบบแล้วเลือกแบบที่ดีที่สุด เพราะในมุกตลก เรื่องเล่า หรือจังหวะโต้ตอบในบทสนทนา เปลี่ยนคำเดียวทั้งเจตนาและอารมณ์ก็เปลี่ยน การตัดสินใจชุดเดียวกันนี้ครอบคลุมทั้งศัพท์เฉพาะ อะไรไม่ต้องแปล คำสแลงที่คงไว้ตามที่พูด ชื่อและแบรนด์ที่คงเดิม การอ้างอิงที่เปลี่ยนเป็นสิ่งที่ผู้ชมคุ้นเคย สิ่งที่วัฒนธรรมนั้นเลี่ยง และคำหยาบที่ลดลงสำหรับเวอร์ชันผู้ชมอายุน้อย
เสียง
อะไรควรแปลบ้าง MLFM ได้ยินทุกอย่างในแทร็กเสียง ทั้งเสียงหัวเราะ เสียงฝูงชน เสียงตะโกน และผู้พูดด้านหลังที่ไม่มีใครฟังออก โมเดลหาเสียงหลัก ถ่ายทอดสู่ภาษาใหม่ด้วยเสียงของผู้พูดเอง และคงส่วนที่เหลือไว้อย่างเดิม
ภาพ
ใครเป็นคนพูดจริงๆ เสียงและภาพถูกตัดสินไปพร้อมกัน MLFM จึงรู้ว่าใครเป็นผู้บรรยาย ใครพูดจากนอกจอ และปากของใครควรขยับ ริมฝีปากตามคำใหม่ในทุกประโยค รวมถึงการบดบังและการให้เหตุผลเชิงพื้นที่ ส่วนสีหน้าและท่าทางจะตามไปด้วยเมื่อจุดเน้นหรือวัฒนธรรมต้องการ

ตัวเลือกที่คุณเห็น

ข้อความ
วันนี้เมื่อประโยคหนึ่งตีความได้มากกว่าหนึ่งทาง ครีเอทีฟไดเรกเตอร์ของคุณจะได้เห็นคำแปลแต่ละแบบพร้อมเหตุผลของแต่ละแบบ แล้วเลือกหนึ่งแบบ พอดแคสต์ ซีรีส์หนึ่งตอน หรือภาพยนตร์หนึ่งเรื่องอาจมีช่วงแบบนี้อยู่หลายช่วง
อยู่ระหว่างพัฒนา
เสียง
วันนี้
อยู่ระหว่างพัฒนาการเลือกว่าอะไรจะคงไว้เป็นภาษาต้นฉบับ เสียงร้องเชียร์ เสียงตะโกน หรือวลีหนึ่ง คงไว้ตามที่พูดได้เมื่อคุณต้องการ
ภาพ
วันนี้
อยู่ระหว่างพัฒนาการเลือกใบหน้าอื่นเมื่อโมเดลเลือกผู้พูดผิด และการเลือกว่าจะแปลข้อความไหนในเฟรม ข้อความนั้น ไม่ว่าจะเป็นหน้าจอโทรศัพท์ ปกหนังสือ ป้ายถนน หรือหน้าร้าน จะเขียนด้วยคำที่คุณเลือกไว้แล้ว โดยโมเดลตัดสินใจเองทันทีว่าอะไรคงไว้ตามที่ถ่ายมา ทั้งแบรนด์ ชื่อ และคำสแลง ถุง Tostitos จึงยังเป็น Tostitos

ทำไมต้องโมเดลเดียว

เครื่องมือที่ต่อกันเป็นทอดๆ

  • แปลงเสียงพูดเป็นข้อความ แล้วแปล แล้วลงเสียง แล้วลิปซิงค์ แต่ละขั้นจูนแยกกัน
  • สายพานแบบนี้คือสิ่งที่ทำให้การพากย์ด้วยเครื่องเกิดขึ้นได้
  • แต่ละขั้นยังต้องเดาโดยไม่รู้ว่าขั้นอื่นทำอะไร ความผิดพลาดจึงทบต่อกันไปทีละขั้น

โมเดลพื้นฐานเดียว ครั้งแรกของวงการ

  • MLFM ตัดสินใจทุกอย่างไปพร้อมกัน
  • คำแปลรู้ว่าต้องพอดีกับปากแบบไหน
  • เสียงรู้ว่าอยู่ในฉากแบบไหน
  • คนบนจอไม่เคยเปลี่ยนไป
++
แปลก่อน แล้วพากย์ทั้งหมดในครั้งเดียว ทั้งเสียง ริมฝีปาก และฉาก ออกมาพร้อมกันจากการตัดสินใจชุดเดียวกัน

แปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ ครั้งแรกของวงการ นี่คือสิ่งที่ทำให้ MLFM เป็นโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่พาถ้อยคำ เสียง ริมฝีปาก และฉาก ไปสู่ภาษาใหม่ทั้งหมดในคราวเดียว เส้นทางคุณภาพสูงในวันนี้คือเครื่องมือช่วยงาน ต้องใช้ทีมศิลปิน VFX และเวลาหลายสัปดาห์ต่อโปรเจกต์ และทุกภาษาก็คือโปรเจกต์ใหม่ ส่วนเครื่องมือแบบครั้งเดียวจบในวันนี้เร็ว แต่ต้องยอมเสียอย่างอื่นไปทั้งหมด Familiar Labs คือครั้งเดียวจบและได้คุณภาพ

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar Labs is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR LABS CLOSER TO THE REAL SPEAKER

โลคัลไลเซชันต่างจากการแปลอย่างไร

การแปลคือถ้อยคำ โลคัลไลเซชันคือสิ่งที่วัฒนธรรมหนึ่งต้องการจากถ้อยคำเหล่านั้น

ศัพท์ที่ถูกต้อง คำสแลง ชื่อที่คงไว้ตามที่พูด การอ้างอิงที่เปลี่ยนเป็นสิ่งที่ผู้ชมคุ้นเคย สิ่งที่วัฒนธรรมนั้นเลี่ยง และระดับคำหยาบที่เหมาะสม MLFM ตัดสินใจทั้งหมดนี้ และในอนาคตก็รวมถึงภาพด้วย เมื่อภาพจำเป็นต้องเปลี่ยน

MLFM เป็น Generative AI หรือไม่

ไม่ใช่ IBM นิยามไว้แบบนี้:

Generative AI หรือบางครั้งเรียกว่า gen AI คือปัญญาประดิษฐ์ (AI) ที่สร้างคอนเทนต์ต้นฉบับ เช่น ข้อความ ภาพ วิดีโอ เสียง หรือโค้ดซอฟต์แวร์ ตามพรอมต์หรือคำขอของผู้ใช้
IBM, What is generative AI?

นั่นคือเครื่องมือที่ทรงพลังสำหรับการสร้างสิ่งใหม่ แต่ MLFM ไม่มีพรอมต์ และไม่มีอะไรถูกแต่งขึ้นใหม่ มันตัดสินใจว่าจะปรับสิ่งที่มีอยู่แล้วให้เข้ากับท้องถิ่นอย่างไร จุดยืนฉบับเต็มอยู่ในทำไม Familiar Labs จึงไม่ใช่ Generative AI แบบดั้งเดิม และการแปลไม่ใช่การสร้างขึ้นใหม่

การตัดสินใจเหล่านี้เป็นของใคร

ของคุณ ทุกการตัดสินใจที่ MLFM ทำถูกบันทึกไว้กับงานพากย์นั้น ในบันทึกการตัดสินใจ

  1. วันนี้

    ครีเอทีฟไดเรกเตอร์ของคุณตรวจการตัดสินใจด้านการแปล

    คำแปลแต่ละแบบพร้อมเหตุผล ให้เลือกหนึ่งแบบก่อนที่อะไรจะถูกปล่อยออกไป
  2. วันนี้

    รายการคำที่ไม่แปลและบริบทหนึ่งประโยคติดไปกับงานด้วย

  3. อยู่ระหว่างพัฒนา

    การตัดสินใจด้านเสียงและภาพ ในหน้าตรวจสอบเดียวกัน

  4. อยู่ระหว่างพัฒนา

    หน่วยความจำการตัดสินใจ

    การแก้ไขที่จำไว้สำหรับครีเอเตอร์คนหนึ่งจะถูกใช้ก่อนในงานพากย์ครั้งถัดไป ตัวเลือกที่ตัดสินใจไว้ครั้งหนึ่งจึงตามไปใช้ในตอนถัดไปด้วย

เรื่องราวฉบับเต็มอยู่ในบันทึกการตัดสินใจ: ครีเอทีฟไดเรกเตอร์กำกับ MLFM อย่างไร ส่วน API ที่วางแผนไว้อยู่ในเอกสาร API ด้านการตัดสินใจ

คำถาม

MLFM ย่อมาจากอะไร

MLFM ย่อมาจาก Multimodal Localization Foundation Model หรือโมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล กระบวนทัศน์ใหม่ ครั้งแรกของวงการ เป็นโมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่นและปรับอย่างไร ทั้งข้อความ เสียง และภาพ โมเดลเลือกคำแปลของแต่ละประโยค เลือกว่าจะแปลอะไรในเสียง ใครบนจอเป็นคนพูด และริมฝีปาก สีหน้า กับท่าทางจะตามไปอย่างไร

MLFM เป็นโมเดลวิดีโอหรือไม่

ไม่ใช่ในความหมายทั่วไป MLFM ทำงานกับฟุตเทจที่มีอยู่แล้ว และตัดสินใจว่าจะปรับให้เข้ากับท้องถิ่นอย่างไร ทั้งถ้อยคำ เสียง ริมฝีปาก และสีหน้า คนบนจอยังเป็นคนเดิมทุกประการในทุกภาษา

แหล่งอ้างอิง

  1. [1]IBM, What is generative AI? อ่านเมื่อ 27 ตุลาคม 2026
  2. [2]พันธกิจของเรา
  3. [3]คำถามที่พบบ่อยของ Familiar Labs

การแปลแบบมัลติโมดัล

Familiar Labs สร้างงานพากย์ที่ก้าวกระโดดไปอีกขั้น ด้วยโมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล (MLFM) โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่น ทั้งในข้อความ เสียง และภาพ พร้อมแสดงตัวเลือกให้คุณเห็น เสียงและริมฝีปากของคุณ ถ่ายทอดสู่ภาษาใหม่ ทีม 7 คนที่มีปริญญาเอก ได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House ภารกิจของเรา