บทคัดย่อ
MLFM ตัดสินใจอะไรบ้าง
ตัวเลือกที่คุณเห็น
ทำไมต้องโมเดลเดียว
เครื่องมือที่ต่อกันเป็นทอดๆ
- แปลงเสียงพูดเป็นข้อความ แล้วแปล แล้วลงเสียง แล้วลิปซิงค์ แต่ละขั้นจูนแยกกัน
- สายพานแบบนี้คือสิ่งที่ทำให้การพากย์ด้วยเครื่องเกิดขึ้นได้
- แต่ละขั้นยังต้องเดาโดยไม่รู้ว่าขั้นอื่นทำอะไร ความผิดพลาดจึงทบต่อกันไปทีละขั้น
โมเดลพื้นฐานเดียว ครั้งแรกของวงการ
- MLFM ตัดสินใจทุกอย่างไปพร้อมกัน
- คำแปลรู้ว่าต้องพอดีกับปากแบบไหน
- เสียงรู้ว่าอยู่ในฉากแบบไหน
- คนบนจอไม่เคยเปลี่ยนไป
แปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ ครั้งแรกของวงการ นี่คือสิ่งที่ทำให้ MLFM เป็นโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่พาถ้อยคำ เสียง ริมฝีปาก และฉาก ไปสู่ภาษาใหม่ทั้งหมดในคราวเดียว เส้นทางคุณภาพสูงในวันนี้คือเครื่องมือช่วยงาน ต้องใช้ทีมศิลปิน VFX และเวลาหลายสัปดาห์ต่อโปรเจกต์ และทุกภาษาก็คือโปรเจกต์ใหม่ ส่วนเครื่องมือแบบครั้งเดียวจบในวันนี้เร็ว แต่ต้องยอมเสียอย่างอื่นไปทั้งหมด Familiar Labs คือครั้งเดียวจบและได้คุณภาพ
One shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR LABS VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR LABS CLOSER TO THE REAL SPEAKER
โลคัลไลเซชันต่างจากการแปลอย่างไร
การแปลคือถ้อยคำ โลคัลไลเซชันคือสิ่งที่วัฒนธรรมหนึ่งต้องการจากถ้อยคำเหล่านั้น
MLFM เป็น Generative AI หรือไม่
ไม่ใช่ IBM นิยามไว้แบบนี้:
Generative AI หรือบางครั้งเรียกว่า gen AI คือปัญญาประดิษฐ์ (AI) ที่สร้างคอนเทนต์ต้นฉบับ เช่น ข้อความ ภาพ วิดีโอ เสียง หรือโค้ดซอฟต์แวร์ ตามพรอมต์หรือคำขอของผู้ใช้
นั่นคือเครื่องมือที่ทรงพลังสำหรับการสร้างสิ่งใหม่ แต่ MLFM ไม่มีพรอมต์ และไม่มีอะไรถูกแต่งขึ้นใหม่ มันตัดสินใจว่าจะปรับสิ่งที่มีอยู่แล้วให้เข้ากับท้องถิ่นอย่างไร จุดยืนฉบับเต็มอยู่ในทำไม Familiar Labs จึงไม่ใช่ Generative AI แบบดั้งเดิม และการแปลไม่ใช่การสร้างขึ้นใหม่
การตัดสินใจเหล่านี้เป็นของใคร
ของคุณ ทุกการตัดสินใจที่ MLFM ทำถูกบันทึกไว้กับงานพากย์นั้น ในบันทึกการตัดสินใจ
- วันนี้
ครีเอทีฟไดเรกเตอร์ของคุณตรวจการตัดสินใจด้านการแปล
คำแปลแต่ละแบบพร้อมเหตุผล ให้เลือกหนึ่งแบบก่อนที่อะไรจะถูกปล่อยออกไป - วันนี้
รายการคำที่ไม่แปลและบริบทหนึ่งประโยคติดไปกับงานด้วย
- อยู่ระหว่างพัฒนา
การตัดสินใจด้านเสียงและภาพ ในหน้าตรวจสอบเดียวกัน
- อยู่ระหว่างพัฒนา
หน่วยความจำการตัดสินใจ
การแก้ไขที่จำไว้สำหรับครีเอเตอร์คนหนึ่งจะถูกใช้ก่อนในงานพากย์ครั้งถัดไป ตัวเลือกที่ตัดสินใจไว้ครั้งหนึ่งจึงตามไปใช้ในตอนถัดไปด้วย
เรื่องราวฉบับเต็มอยู่ในบันทึกการตัดสินใจ: ครีเอทีฟไดเรกเตอร์กำกับ MLFM อย่างไร ส่วน API ที่วางแผนไว้อยู่ในเอกสาร API ด้านการตัดสินใจ
คำถาม
MLFM ย่อมาจากอะไร
MLFM ย่อมาจาก Multimodal Localization Foundation Model หรือโมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล กระบวนทัศน์ใหม่ ครั้งแรกของวงการ เป็นโมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่นและปรับอย่างไร ทั้งข้อความ เสียง และภาพ โมเดลเลือกคำแปลของแต่ละประโยค เลือกว่าจะแปลอะไรในเสียง ใครบนจอเป็นคนพูด และริมฝีปาก สีหน้า กับท่าทางจะตามไปอย่างไร
MLFM เป็นโมเดลวิดีโอหรือไม่
ไม่ใช่ในความหมายทั่วไป MLFM ทำงานกับฟุตเทจที่มีอยู่แล้ว และตัดสินใจว่าจะปรับให้เข้ากับท้องถิ่นอย่างไร ทั้งถ้อยคำ เสียง ริมฝีปาก และสีหน้า คนบนจอยังเป็นคนเดิมทุกประการในทุกภาษา
MLFM สร้างฟุตเทจใหม่หรือไม่
ไม่ ไม่มีพรอมต์ และไม่มีอะไรถูกแต่งขึ้นใหม่ MLFM ตัดสินใจว่าจะปรับสิ่งที่มีอยู่แล้วให้เข้ากับท้องถิ่นอย่างไร นักแสดง จังหวะ และฉากยังอยู่เหมือนเดิม ส่วนถ้อยคำ แทร็กเสียงพูด และริมฝีปากเปลี่ยนให้เข้ากับภาษาใหม่
MLFM ตัดสินใจอะไรในเสียง
อะไรควรแปลบ้าง โมเดลหาเสียงหลักแล้วถ่ายทอดสู่ภาษาใหม่ด้วยเสียงของผู้พูดเอง ส่วนเสียงหัวเราะ เสียงฝูงชน เสียงตะโกน และผู้พูดด้านหลังที่ไม่มีใครฟังออก ยังคงอยู่อย่างเดิม
MLFM เปลี่ยนสีหน้าหรือไม่
เมื่อจุดเน้นหรือวัฒนธรรมต้องการ ริมฝีปากตามคำใหม่ในทุกประโยค ส่วนสีหน้าและท่าทางจะตามไปเมื่อประโยคนั้นส่งผลต่างออกไปในภาษาใหม่ คนบนจอยังเป็นคนเดิมทุกประการ
MLFM แปลข้อความบนหน้าจอหรือไม่
ยังไม่แปล ข้อความในเฟรม เช่น หน้าจอโทรศัพท์ ปกหนังสือ ป้ายถนน หรือหน้าร้าน กำลังถูกพัฒนาเข้ามา และจะเขียนด้วยคำที่คุณเลือกไว้แล้ว โดยโมเดลตัดสินใจเองทันทีว่าอะไรคงไว้ตามที่ถ่ายมา ทั้งแบรนด์ ชื่อ และคำสแลง ถุง Tostitos จึงยังเป็น Tostitos วันนี้สิ่งที่ปรับให้เข้ากับท้องถิ่นคือถ้อยคำ เสียง ริมฝีปาก สีหน้า และท่าทาง
ฉันแก้ไขการตัดสินใจที่โมเดลทำไว้ได้หรือไม่
ได้ ทุกการตัดสินใจถูกบันทึกไว้กับงาน และคุณแก้ไขได้ วันนี้ครีเอทีฟไดเรกเตอร์ของคุณเลือกจากคำแปลแต่ละแบบพร้อมเหตุผลของแต่ละแบบ และตัวเลือกที่ตัดสินใจไว้ครั้งหนึ่งจะตามไปใช้ในตอนถัดไปด้วย
โมเดลแสดงตัวเลือกด้านเสียงและวิดีโอให้เห็นหรือไม่
ตัวเลือกด้านการแปลแสดงให้เห็นแล้ววันนี้ ส่วนตัวเลือกด้านเสียง เช่น อะไรจะคงไว้เป็นภาษาต้นฉบับ และตัวเลือกด้านภาพ เช่น การเลือกใบหน้าอื่นหรือการเลือกข้อความในเฟรมที่จะแปล ยังอยู่ระหว่างพัฒนา
แหล่งอ้างอิง
การแปลแบบมัลติโมดัล
Familiar Labs สร้างงานพากย์ที่ก้าวกระโดดไปอีกขั้น ด้วยโมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล (MLFM) โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่น ทั้งในข้อความ เสียง และภาพ พร้อมแสดงตัวเลือกให้คุณเห็น เสียงและริมฝีปากของคุณ ถ่ายทอดสู่ภาษาใหม่ ทีม 7 คนที่มีปริญญาเอก ได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House ภารกิจของเรา
