บทความแสดงทัศนะ

ขั้วตรงข้ามของ AI สร้างเพลง

ทำไมนักร้องต้องยังเป็นนักร้องคนเดิม

FAMILIAR LABS งานวิจัยบทความทั้งหมด

บทคัดย่อ

เราคือขั้วตรงข้ามของ AI สร้างเพลง เราไม่เห็นด้วยกับการแทนที่มนุษย์ Song Dubbing พาเพลงที่คุณรู้จักไปสู่อีกภาษาหนึ่งด้วยเสียงของนักร้องคนเดิม เปลี่ยนแค่ภาษา AI ควรถูกใช้แบบนี้ต่างหาก คือทำให้แม่ของผมเข้าใจเพลงโปรดของผมได้ด้วย

เพลงของแม่

แม่ร้องเพลงของแม่ให้ผมฟัง และผมฟังไม่เข้าใจ

ผมเข้าใจภาษาจีนกลางอยู่บ้าง แต่พอเป็นเพลง ท่อนนั้นก็ผ่านไปก่อนที่ผมจะจับได้ทัน และผมก็อยากให้แม่เข้าใจเพลงโปรดของผมเหมือนกัน

คำร้องคือส่วนที่เราพลาดไป

เราทุกคนอยากเข้าใจเนื้อเพลงที่เราฟัง

ผมเป็นออดิโอไฟล์ และเล่นเปียโน เชลโล และเบส เนื้อเพลงคือส่วนเดียวในงานบันทึกเสียงที่ผมพลาดไปเมื่อเป็นอีกภาษา และพอเข้าใจมัน ท่อนที่คุณฮัมมาหลายปีก็อาจกลายเป็นคำสารภาพหรือคำบอกลา

ทั้งทีมรักคาราโอเกะ และไม่มีใครไปคาราโอเกะเพื่อฟังเครื่องร้องเพลง พอรู้ทีหลังว่าเพลงที่ชอบไม่มีมนุษย์คนไหนร้อง เราก็ชอบมันน้อยลง และควรเป็นแบบนั้น (ทำไมผมเชื่อว่าผู้แสดงจะยังเป็นมนุษย์)

นักร้องยังคงเป็นนักร้องคนเดิม

การสร้างใหม่

  • เพลงใหม่และเสียงใหม่ ที่สร้างจากพรอมต์
  • มีที่ทางของมันในที่ที่ไม่มีใครตั้งใจฟัง อย่างโฆษณาหรือเพลงที่เปิดในร้านค้า

การพากย์

  • เพลงที่คุณรู้จัก นักร้องคนเดิม การบันทึกเสียงเดิม
  • เสียง การเอื้อนเสียง ลมหายใจ และอารมณ์ยังอยู่ ส่วนเนื้อเพลงเปลี่ยนภาษา

เพลงคือการแสดงที่มาจากชีวิตที่คนคนหนึ่งผ่านมาจริง เปลี่ยนนักร้อง เพลงก็กลายเป็นอีกเพลงหนึ่ง ศิลปินอนุมัติทุกท่อนก่อนจะปล่อยออกไป

AI ควรถูกใช้ทำอะไร

พากย์ ไม่ใช่สร้างขึ้นใหม่

ที่ผ่านมา เพลงจะไปถึงอีกภาษาได้ก็ต่อเมื่อมีการร้องใหม่ ไม่ว่าจะโดยศิลปินเอง นักร้องคนอื่น หรือเสียงร้องใหม่ที่ทำขึ้นมา แต่กับ Song Dubbing ไม่มีการร้องใหม่ การแสดงต้นฉบับถูกถ่ายทอดต่อไป และริมฝีปากในมิวสิกวิดีโอก็ขยับตามคำใหม่ นั่นคือการพากย์เพลงที่แท้จริงครั้งแรก

เราสร้างโมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล (MLFM) ขึ้นมาเพื่อรักษาตัวตนของคนคนหนึ่งไว้ครบในอีกภาษา และท่อนร้องคืองานเดียวกันในเวอร์ชันที่ยากที่สุด ในฐานะนักดนตรี ผมฟังสัมผัสหลายพยางค์และสัมผัสใน ความหมาย แนวเพลง และจังหวะ ถ้าท่อนใหม่ไม่ลงกรูฟตรงที่ท่อนเดิมเคยลง ก็คือท่อนที่ผิด

ผู้คนต่างวัฒนธรรม เชื่อมถึงกัน

++

เราชอบได้เข้าใจเพลง

Song Dubbing สำหรับค่ายเพลงและศิลปินในสังกัด ทีละอัลบั้ม รวมมิวสิกวิดีโอด้วย (Song Dubbing) ถ้าอยากพาอัลบั้มไปสู่ภาษาใหม่ อีเมลหาทีมงาน

พากย์ ไม่ใช่สร้างขึ้นใหม่จากคนสู่คน

คำถาม

Song Dubbing คือ AI สร้างเพลงหรือไม่

ไม่ใช่ Song Dubbing ไม่สร้างเพลงใหม่และไม่สร้างเสียงใหม่ แต่ถ่ายทอดงานบันทึกเสียงที่มีอยู่แล้วไปสู่อีกภาษาหนึ่งด้วยเสียงของนักร้องคนเดิม

นักร้องต้องร้องใหม่หรือไม่

ไม่ต้อง กับ Song Dubbing ไม่มีการร้องใหม่ การแสดงต้นฉบับถูกถ่ายทอดต่อไป Familiar Labs จึงเรียกมันว่าการพากย์เพลงที่แท้จริงครั้งแรก

ใครเป็นผู้อนุมัติเนื้อเพลงที่แปล

ศิลปินหรือทีมของศิลปินอนุมัติทุกท่อนในทุกภาษาก่อนจะปล่อยออกไป

แหล่งอ้างอิง

  1. [1]Song Dubbing
  2. [2]จากคนสู่คน ไม่ใช่จาก AI สู่ AI

การแปลแบบมัลติโมดัล

Familiar Labs สร้างงานพากย์ที่ก้าวกระโดดไปอีกขั้น ด้วยโมเดลพื้นฐานด้านโลคัลไลเซชันแบบมัลติโมดัล (MLFM) โมเดลพื้นฐานตัวแรกสำหรับการแปลแบบมัลติโมดัล โมเดลเดียวที่ตัดสินใจว่าจะปรับอะไรให้เข้ากับท้องถิ่น ทั้งในข้อความ เสียง และภาพ พร้อมแสดงตัวเลือกให้คุณเห็น เสียงและริมฝีปากของคุณ ถ่ายทอดสู่ภาษาใหม่ ทีม 7 คนที่มีปริญญาเอก ได้รับการสนับสนุนจาก Samsung, RedBird และ Gold House ภารกิจของเรา

สนับสนุนโดย

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo