परिभाषा

मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) आखिर है क्या?

FAMILIAR LABS रिसर्चअपडेट सारे लेख
सार
मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल, एक नया पैराडाइम, अपनी तरह का पहला। MLFM एक ही मॉडल है, जो टेक्स्ट, ऑडियो और विज़ुअल में तय करता है कि क्या लोकलाइज़ करना है और कैसे, और ज़रूरी फ़ैसले आपके सामने रखता है। पहले ट्रांसलेशन, फिर एक ही बार में पूरा डब: आवाज़, होंठ और सीन एक साथ। इंसान कभी नहीं बदलता।
मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडलऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं

MLFM क्या तय करता है?

टेक्स्ट
किसी लाइन को कौन-सा वर्ज़न ले जाता है। मज़ाक या किस्से में एक शब्द से इरादा बदल जाता है, इसलिए MLFM कई वर्ज़न तौलता है और सबसे अच्छा चुनता है। यही फ़ैसला बाकी सब भी संभालता है: शब्दावली, क्या ट्रांसलेट न करें, स्लैंग और ब्रांड वैसे के वैसे, ऐसा रेफ़रेंस जिसे ऑडियंस जानती हो, और गालियों का स्तर।
ऑडियो
ट्रांसलेट करना भी है या नहीं। यह मुख्य आवाज़ ढूंढता है और उसे बोलने वाले की अपनी आवाज़ में ले जाता है; हंसी, भीड़ और पीछे बोलता कोई इंसान जैसे थे वैसे रहते हैं।
विज़ुअल
असल में बोल कौन रहा है: नैरेटर, स्क्रीन के बाहर की आवाज़, किसके होंठ हिलते हैं। होंठ नए शब्दों के साथ चलते हैं, चेहरे की आड़ और स्पेशियल रीज़निंग समेत; जब कल्चर मांगे, तो एक्सप्रेशन और हाव-भाव भी साथ चलते हैं।

एक ही मॉडल क्यों?

टूल्स की एक कड़ी

  • स्पीच-टू-टेक्स्ट, फिर ट्रांसलेशन, फिर आवाज़, फिर लिप-सिंक।
  • इसी कड़ी ने मशीन डबिंग को मुमकिन बनाया।
  • हर चरण बाकियों को देखे बिना अंदाज़ा लगाता है, इसलिए गलतियां बढ़ती जाती हैं।

एक फ़ाउंडेशन मॉडल, अपनी तरह का पहला

  • MLFM सारे फ़ैसले साथ लेता है।
  • ट्रांसलेशन उस मुंह को जानता है जिस पर उसे बैठना है।
  • आवाज़ उस सीन को जानती है जिसमें वह है।

आज हाई-क्वालिटी का रास्ता असिस्टिव है: VFX आर्टिस्ट्स की एक टीम और हर प्रोजेक्ट पर कई हफ़्ते, हर भाषा एक नया प्रोजेक्ट। वन-शॉट टूल्स तेज़ हैं, पर बाकी सब छोड़ देते हैं। Familiar Labs एक ही बार में, और क्वालिटी भी।

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsवन-शॉट टूल्स · कोई कंट्रोल नहीं

आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं

ट्रांसलेशन एडिट नहीं हो सकता, म्यूज़िक और माहौल गायब हो जाते हैं, आवाज़ भटक जाती है, और चेहरे पर हाथ, माइक, ब्लर, बोकेह, साइड व्यू या फ़्रेम में कई लोग हों, तो होंठ साथ छोड़ देते हैं। न स्पेशियल रीज़निंग, न दुनिया की समझ, न कोई कंट्रोल।

लोकलाइज़ेशन और ट्रांसलेशन में फ़र्क क्या है?

++
ट्रांसलेशन यानी शब्द। लोकलाइज़ेशन यानी वह, जो किसी कल्चर को उन शब्दों से चाहिए।

सही शब्दावली, जैसे बोले गए वैसे नाम, कोई रेफ़रेंस ऐसे रेफ़रेंस से बदलना जिसे ऑडियंस जानती हो, वह कल्चर किन बातों से बचता है। MLFM यह सब तय करता है, और आगे चलकर तस्वीर भी।

क्या MLFM जनरेटिव AI है?

नहीं। IBM इसकी परिभाषा ऐसे देता है:

जनरेटिव AI, जिसे कभी-कभी जेन AI भी कहा जाता है, आर्टिफ़िशियल इंटेलिजेंस (AI) की वह शाखा है जो यूज़र के प्रॉम्प्ट या रिक्वेस्ट पर टेक्स्ट, इमेज, वीडियो, ऑडियो और सॉफ़्टवेयर कोड जैसा ओरिजिनल कंटेंट बना सकती है।
IBM, What is generative AI?

MLFM में न कोई प्रॉम्प्ट है, न कुछ नया गढ़ा जाता है: यह तय करता है कि जो पहले से मौजूद है, उसे कैसे लोकलाइज़ किया जाए। ज़्यादा Familiar Labs पारंपरिक जनरेटिव AI क्यों नहीं है और ट्रांसलेशन जनरेशन नहीं है में।

ये फ़ैसले किसके हैं?

आपके। MLFM का हर फ़ैसला डब के साथ फ़ैसलों के रिकॉर्ड में दर्ज होता है, और आप उसे ओवरराइड कर सकते हैं; प्लान किया गया API फ़ैसलों के डॉक्स में है।

  1. आज

    आपके क्रिएटिव डायरेक्टर ट्रांसलेशन चुनते हैं।

    जहां कोई लाइन एक से ज़्यादा तरह से बैठ सकती है, वहां उन्हें हर वर्ज़न उसकी वजह के साथ मिलता है।
  2. आज

    ट्रांसलेट न करें वाली लिस्ट और एक वाक्य का कॉन्टेक्स्ट जॉब के साथ चलते हैं।

  3. तैयारी में

    ऑडियो और विज़ुअल फ़ैसले, उसी रिव्यू में।

    ओरिजिनल भाषा में क्या रहे, मॉडल ने गलत बोलने वाला चुना हो तो दूसरा चेहरा, और फ़्रेम में कौन-सा टेक्स्ट ट्रांसलेट हो: Tostitos का पैकेट Tostitos ही रहता है।
  4. तैयारी में

    फ़ैसलों की मेमोरी।

    एक बार लिया गया फ़ैसला अगले एपिसोड में भी साथ चलता है।
सवाल

MLFM का पूरा नाम क्या है?

मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल, एक नया पैराडाइम, अपनी तरह का पहला: एक ही मॉडल, जो टेक्स्ट, ऑडियो और विज़ुअल में तय करता है कि क्या लोकलाइज़ करना है और कैसे। यह किसी लाइन का वर्ज़न चुनता है, तय करता है कि ऑडियो में क्या ट्रांसलेट हो, स्क्रीन पर कौन बोल रहा है, और होंठ कैसे साथ चलें।

क्या MLFM नई फुटेज बनाता है?

नहीं। न कोई प्रॉम्प्ट है, न कुछ नया गढ़ा जाता है। ऐक्टर, टाइमिंग और सीन वही रहते हैं; शब्द, आवाज़ का ट्रैक और होंठ नई भाषा के हिसाब से बदलते हैं।

क्या MLFM स्क्रीन पर लिखा टेक्स्ट ट्रांसलेट करता है?

अभी नहीं। फ़्रेम में लिखा टेक्स्ट, जैसे फ़ोन स्क्रीन या सड़क का साइनबोर्ड, अभी जोड़ा जा रहा है, उन्हीं शब्दों में जो आप पहले चुन चुके हैं; कोई ब्रांड या नाम जैसा शूट हुआ वैसा ही रहता है। आज शब्द, आवाज़, होंठ, एक्सप्रेशन और हाव-भाव लोकलाइज़ होते हैं।

क्या मैं मॉडल का लिया कोई फ़ैसला बदल सकता हूं?

हां। हर फ़ैसला जॉब के साथ दर्ज होता है, और आप उसे ओवरराइड कर सकते हैं। आज आपके क्रिएटिव डायरेक्टर ट्रांसलेशन के वर्ज़न में से चुनते हैं, हर एक उसकी वजह के साथ; ऑडियो और विज़ुअल के विकल्प तैयारी में हैं।

मल्टीमोडल ट्रांसलेशन

Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन

हमारे निवेशक

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo