โมเดลพื้นฐานสำหรับการแปลแบบมัลติโมดัลมีความหมายอย่างไรต่อสตูดิโอและแพลตฟอร์ม

01. โมเดลพื้นฐานเปลี่ยนอะไรในงานพากย์

การพากย์ด้วยเครื่องเคยเป็นเครื่องมือแยกกันที่ต่อเป็นทอดๆ ถอดเสียง แล้วแปล แล้วลงเสียง แล้วลิปซิงค์ แต่ละขั้นเดาโดยไม่รู้ว่าขั้นอื่นทำอะไร และความผิดพลาดก็ถูกส่งต่อจากขั้นหนึ่งไปอีกขั้น สิ่งที่ผู้ซื้อเจอในวันนี้ต้องแลกระหว่างคุณภาพกับเวลา เครื่องมือช่วยงานไปถึงคุณภาพได้ด้วยทีมศิลปิน VFX ใช้เวลาหลายสัปดาห์ต่อโปรเจกต์ และทุกภาษาก็คือโปรเจกต์ใหม่ ส่วนเครื่องมือแบบครั้งเดียวจบเร็ว แต่ต้องยอมเสียอย่างอื่นไปทั้งหมด แก้คำแปลไม่ได้ เสียงพากย์เพี้ยนไปจากผู้พูด เสียงดนตรีและเสียงบรรยากาศของห้องหายไป และปากก็ขยับพลาดเมื่อมีมือบังใบหน้า ไมโครโฟน ภาพเบลอ โบเก้ มุมข้าง หรือมีหลายคนอยู่ในเฟรม ไม่มีการให้เหตุผลเชิงพื้นที่ ไม่มีความเข้าใจโลก และไม่มีการควบคุม Familiar แทนที่สายพานนี้ด้วยโมเดลตัดสินใจด้านโลคัลไลเซชันแบบมัลติโมดัล (MLDM) เพียงตัวเดียว ครั้งเดียวจบและได้คุณภาพ

++

แปลก่อน แล้วพากย์ทั้งหมดในครั้งเดียว ทั้งเสียง ริมฝีปาก และฉากไปพร้อมกัน

แปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ ครั้งแรกของวงการ นิยามอยู่ในโมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล ส่วนการเปรียบเทียบกับสายพานทีละขั้นอยู่ในแปลภาพและเสียงไปพร้อมกัน ไม่ใช่ต่อเป็นทอดๆ

HeyGenElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

FAMILIAR · ONE SHOT AND THE QUALITYFamiliar vs Flawless TrueSync →The ElevenLabs study →The demos →

02. อัปโหลดครั้งเดียวครอบคลุมทุกตลาดที่เราขายได้หรือไม่

ได้ ฟุตเทจในภาษาต้นทางใดก็ได้จาก 99 ภาษา ส่งเข้ามาครั้งเดียว แล้วงานพากย์ออกมาในภาษาไหนก็ได้จาก 30 ภาษาที่คุณสั่ง ทุกภาษาจากการอัปโหลดครั้งเดียว แต่ละภาษาถ่ายทอดการแสดงเดิม ทั้งซีซัน คลังคอนเทนต์ หรือฟีดตอนแนวตั้ง ล้วนเดินเส้นทางเดียวกัน และศัพท์ที่คุณตั้งไว้ครั้งหนึ่งจะตามไปใช้ในตอนถัดไปด้วย

การพากย์โดยมนุษย์แบบครบวงจร ทั้งแปลและลงเสียง อยู่ที่ $70 ถึง $150 ต่อนาทีชิ้นงานสำเร็จ ในอัตรานี้คนส่วนใหญ่ของโลกเข้าไม่ถึง แม้แต่งานโปรดักชันระดับท็อปก็พากย์ได้เพียงไม่กี่ภาษา เพราะทั้งต้นทุน กำลังคน และเวลาที่ต้องใช้

นั่นคือช่องว่างที่ Familiar ปิด ไม่ใช่ “Generative AI” แต่คือการแปลที่เสริมพลังให้คนทำงานสร้างสรรค์ MLDM สำหรับงานส่วนที่จุกจิกน่าเบื่อ จากคนสู่คน ไปถึงผู้ชมได้กว้างไกลกว่าเดิม

03. ใครเป็นคนตัดสินว่าประโยคหนึ่งจะออกมาอย่างไรในอีกภาษา

MLDM ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่นและปรับอย่างไร ทั้งข้อความ เสียง และภาพ ส่วนทีมของคุณยังคุมตัวเลือกที่สำคัญ คำแปลมาก่อน และเมื่อประโยคหนึ่งตีความได้มากกว่าหนึ่งทาง ครีเอทีฟไดเรกเตอร์ของคุณจะเห็นตัวเลือกพร้อมเหตุผลของแต่ละแบบ ก่อนที่จะมีการพากย์ใดๆ

ทุกการตัดสินใจถูกบันทึกไว้กับงาน และคุณแก้ไขได้ทั้งหมด เรื่องราวฉบับเต็มอยู่ในบันทึกการตัดสินใจ: ครีเอทีฟไดเรกเตอร์กำกับ MLDM อย่างไร ถ้าดูเฉพาะตัวคำ คำแปลเทียบเท่านักแปลมนุษย์ระดับผู้เชี่ยวชาญ คือ 100.3% ของคุณภาพงานของพวกเขา วัดไว้ในเบนช์มาร์ก

04. งานพากย์ฉบับสมบูรณ์มาพร้อมอะไรบ้าง

ไฟล์ส่งมอบที่ทีมโพสต์โปรดักชันของคุณนำไปใส่ในงานออกฉายได้ทันที ตามสเปกที่แพลตฟอร์มสตรีมมิ่งกำหนด เสียงของฉากยังอยู่อย่างเดิม ทั้งเสียงดนตรี เสียงบรรยากาศ และเสียงหัวเราะ มีเพียงเสียงพูดที่เปลี่ยนภาษา

ซับไตเติลสร้างจากคำแปลที่ผ่านการตรวจแล้ว ตัดตามแนวทางของ Timed Text Style Guide ของ Netflix มาตรฐานเทมเพลตซับไตเติลที่ทั้งอุตสาหกรรมใช้ทำงาน ทุกไฟล์และทุกฟอร์แมตอยู่ในเอกสารไฟล์ที่ส่งมอบ

05. ฟุตเทจของเราถูกประมวลผลที่ไหน

ฟุตเทจที่ยังไม่ออกฉายคือสิ่งที่สตูดิโอปกป้องมากที่สุด งานพากย์ทุกชิ้นประมวลผลบนคลัสเตอร์ GPU NVIDIA B300 มูลค่าหลักสิบล้านดอลลาร์ของ Familiar เองที่โทรอนโต ประเทศแคนาดา บนทรัพยากรประมวลผลที่ Familiar เป็นเจ้าของ

เส้นทางของงานพากย์หนึ่งชิ้นและคำตอบสำหรับการตรวจสอบด้านความปลอดภัยของคุณอยู่ในเอกสารการประมวลผลแบบส่วนตัว

06. อะไรใช้ได้แล้ววันนี้ และอะไรอยู่ระหว่างพัฒนา

1. วันนี้

   ทุกภาษาจากการอัปโหลดครั้งเดียว ด้วยเสียงและริมฝีปากของนักแสดงเอง

   ภาษาปลายทาง 30 ภาษา รับภาษาต้นทาง 99 ภาษา สูงสุด 4K มิกซ์ 5.1 แท้ หรือสเตอริโอ พร้อมซับไตเติล
2. วันนี้

   ครีเอทีฟไดเรกเตอร์ของคุณตรวจการตัดสินใจด้านการแปล

   ตัวเลือกพร้อมเหตุผลของแต่ละแบบ บันทึกไว้กับงาน
3. อยู่ระหว่างพัฒนา

   การตัดสินใจด้านเสียงและภาพ ในหน้าตรวจสอบเดียวกัน

   อะไรจะคงไว้เป็นภาษาต้นฉบับ ใบหน้าอื่น และข้อความไหนในเฟรมที่จะแปล
4. อยู่ระหว่างพัฒนา

   การพากย์สด

การเข้าใช้งานเป็นแบบสัญญา Studio ปรับขนาดตามคลังคอนเทนต์ของคุณ คุยกับทีมเรื่องผลงาน ภาษา และสเปกการส่งมอบของคุณได้ ทีมของเราคือนักวิจัยระดับปริญญาเอกผู้บุกเบิกสาขาโมเดลมนุษย์ที่สร้างภาพและเสียงไปพร้อมกัน มีบทความวิจัย 22 เรื่อง ได้รับการอ้างอิงมากกว่า 10,000 ครั้ง โดยมี ศ. Xu Zheng และ ศ. Youngjung Uh เป็นที่ปรึกษา และได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House งานวิจัยอยู่ในบทความวิจัยของเรา และบุกเบิกการแปลแบบมัลติโมดัล ส่วนเรื่องราวของผู้ก่อตั้งอยู่ในหน้าพันธกิจของเรา

คำถาม