राय

AI म्यूज़िक जनरेशन का ठीक उलट

गायक वही क्यों रहता है।

FAMILIAR LABS रिसर्चसारे लेख

सार

हम AI म्यूज़िक जनरेशन के ठीक उलट हैं। हम इंसानों की जगह लेने के ख़िलाफ़ हैं। Song Dubbing आपके जाने-पहचाने गाने को उसी गायक की आवाज़ में दूसरी भाषा तक ले जाता है; बदलती है सिर्फ़ भाषा। AI का इस्तेमाल इसी के लिए होना चाहिए: ताकि मेरी मां भी मेरे पसंदीदा गाने समझ सकें।

मेरी मां के गाने

मेरी मां मेरे लिए अपने गाने गाती हैं, और मैं उन्हें समझ नहीं पाता।

मैं थोड़ी-बहुत मंडारिन समझता हूं, पर गाने में लाइन मेरे पकड़ने से पहले ही निकल जाती है। और मैं चाहता हूं कि वे भी मेरे पसंदीदा गाने समझें।

शब्द ही वह हिस्सा हैं जो छूट जाता है

हम सब जो बोल सुनते हैं, उन्हें समझना चाहते हैं।

मैं ऑडियोफ़ाइल हूं, और पियानो, चेलो और बेस गिटार बजाता हूं। दूसरी भाषा की रिकॉर्डिंग में मुझसे बस बोल ही छूटते हैं, और उन्हें समझते ही सालों से गुनगुनाई कोई लाइन इक़बाल या अलविदा निकल सकती है।

पूरी टीम को कराओके बेहद पसंद है, और कोई भी कराओके किसी मशीन को गाते सुनने नहीं जाता। पता चले कि आपके पसंदीदा गाने को किसी इंसान ने गाया ही नहीं, तो वह कम अच्छा लगता है, और ऐसा होना भी चाहिए (मुझे क्यों यक़ीन है कि परफ़ॉर्मर इंसान ही रहेंगे)।

गायक वही रहता है

जनरेशन

  • एक नया गाना और एक नई आवाज़, किसी प्रॉम्प्ट से बनी हुई।
  • इसकी अपनी जगह है, जहां कोई ध्यान से नहीं सुनता: किसी ऐड में, किसी स्टोर में बजता म्यूज़िक।

डबिंग

  • वही गाना जो आप जानते हैं, वही गायक, वही रिकॉर्डिंग।
  • आवाज़, अंदाज़, सांस और भावना वही रहती हैं; बोल नई भाषा में जाते हैं।

गाना जिए हुए जीवन से निकली परफ़ॉर्मेंस है; गायक बदल दीजिए, तो गाना ही दूसरा हो जाता है। कुछ भी रिलीज़ होने से पहले आर्टिस्ट हर लाइन को मंज़ूरी देते हैं।

AI का इस्तेमाल किसलिए होना चाहिए

डबिंग, जनरेशन नहीं।

अब तक कोई गाना दूसरी भाषा तक तभी पहुंचता था जब उसे दोबारा गाया जाता: ख़ुद आर्टिस्ट, कोई दूसरा गायक, या उसके लिए बनाया गया नया वोकल। Song Dubbing में कुछ भी दोबारा नहीं गाया जाता; ओरिजिनल परफ़ॉर्मेंस ही आगे जाती है, और म्यूज़िक वीडियो में होंठ नए शब्दों के साथ चलते हैं। यही गानों की पहली सच्ची डबिंग है।

हमने मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) इसलिए बनाया कि दूसरी भाषा में भी इंसान पूरा का पूरा वैसा ही रहे, और गाई गई लाइन इसी काम का सबसे मुश्किल रूप है। एक म्यूज़िशियन के तौर पर मैं मल्टी-सिलेबल और इंटरनल राइम्स, मतलब, जॉनर और रिदम सुनता हूं: अगर नई लाइन बीट पर वहां नहीं बैठती जहां पुरानी बैठती थी, तो वह ग़लत लाइन है।

अलग-अलग संस्कृतियों के लोग, आपस में जुड़े हुए

++

हमें गाने को समझना अच्छा लगता है।

Song Dubbing रिकॉर्ड लेबल्स और उनके आर्टिस्ट्स के लिए है, एक-एक एल्बम करके, म्यूज़िक वीडियो समेत (Song Dubbing)। किसी एल्बम को नई भाषाओं तक ले जाना हो, तो टीम को ईमेल करें।

डबिंग, जनरेशन नहींइंसान से इंसान तक

सवाल

क्या Song Dubbing AI म्यूज़िक जनरेशन है?

नहीं। यह न कोई नया गाना बनाता है, न कोई नई आवाज़; यह किसी मौजूदा रिकॉर्डिंग को उसी गायक की आवाज़ में दूसरी भाषा तक ले जाता है।

क्या गायक को गाना दोबारा गाना पड़ता है?

नहीं। Song Dubbing में कुछ भी दोबारा नहीं गाया जाता: ओरिजिनल परफ़ॉर्मेंस ही आगे जाती है, और इसीलिए Familiar Labs इसे गानों की पहली सच्ची डबिंग कहता है।

ट्रांसलेट हुए बोल को मंज़ूरी कौन देता है?

रिलीज़ से पहले आर्टिस्ट या उनकी टीम हर भाषा की हर लाइन को मंज़ूरी देती है।

संदर्भ

  1. [1]Song Dubbing: वही गायक, आपकी भाषा में
  2. [2]इंसान से इंसान तक, AI से AI तक नहीं

मल्टीमोडल ट्रांसलेशन

Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन

हमारे निवेशक

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo