MLFM क्या तय करता है?
एक ही मॉडल क्यों?
टूल्स की एक कड़ी
- स्पीच-टू-टेक्स्ट, फिर ट्रांसलेशन, फिर आवाज़, फिर लिप-सिंक।
- इसी कड़ी ने मशीन डबिंग को मुमकिन बनाया।
- हर चरण बाकियों को देखे बिना अंदाज़ा लगाता है, इसलिए गलतियां बढ़ती जाती हैं।
एक फ़ाउंडेशन मॉडल, अपनी तरह का पहला
- MLFM सारे फ़ैसले साथ लेता है।
- ट्रांसलेशन उस मुंह को जानता है जिस पर उसे बैठना है।
- आवाज़ उस सीन को जानती है जिसमें वह है।
आज हाई-क्वालिटी का रास्ता असिस्टिव है: VFX आर्टिस्ट्स की एक टीम और हर प्रोजेक्ट पर कई हफ़्ते, हर भाषा एक नया प्रोजेक्ट। वन-शॉट टूल्स तेज़ हैं, पर बाकी सब छोड़ देते हैं। Familiar Labs एक ही बार में, और क्वालिटी भी।
आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं
लोकलाइज़ेशन और ट्रांसलेशन में फ़र्क क्या है?
सही शब्दावली, जैसे बोले गए वैसे नाम, कोई रेफ़रेंस ऐसे रेफ़रेंस से बदलना जिसे ऑडियंस जानती हो, वह कल्चर किन बातों से बचता है। MLFM यह सब तय करता है, और आगे चलकर तस्वीर भी।
क्या MLFM जनरेटिव AI है?
नहीं। IBM इसकी परिभाषा ऐसे देता है:
जनरेटिव AI, जिसे कभी-कभी जेन AI भी कहा जाता है, आर्टिफ़िशियल इंटेलिजेंस (AI) की वह शाखा है जो यूज़र के प्रॉम्प्ट या रिक्वेस्ट पर टेक्स्ट, इमेज, वीडियो, ऑडियो और सॉफ़्टवेयर कोड जैसा ओरिजिनल कंटेंट बना सकती है।
MLFM में न कोई प्रॉम्प्ट है, न कुछ नया गढ़ा जाता है: यह तय करता है कि जो पहले से मौजूद है, उसे कैसे लोकलाइज़ किया जाए। ज़्यादा Familiar Labs पारंपरिक जनरेटिव AI क्यों नहीं है और ट्रांसलेशन जनरेशन नहीं है में।
ये फ़ैसले किसके हैं?
आपके। MLFM का हर फ़ैसला डब के साथ फ़ैसलों के रिकॉर्ड में दर्ज होता है, और आप उसे ओवरराइड कर सकते हैं; प्लान किया गया API फ़ैसलों के डॉक्स में है।
- आज
आपके क्रिएटिव डायरेक्टर ट्रांसलेशन चुनते हैं।
जहां कोई लाइन एक से ज़्यादा तरह से बैठ सकती है, वहां उन्हें हर वर्ज़न उसकी वजह के साथ मिलता है। - आज
ट्रांसलेट न करें वाली लिस्ट और एक वाक्य का कॉन्टेक्स्ट जॉब के साथ चलते हैं।
- तैयारी में
ऑडियो और विज़ुअल फ़ैसले, उसी रिव्यू में।
ओरिजिनल भाषा में क्या रहे, मॉडल ने गलत बोलने वाला चुना हो तो दूसरा चेहरा, और फ़्रेम में कौन-सा टेक्स्ट ट्रांसलेट हो: Tostitos का पैकेट Tostitos ही रहता है। - तैयारी में
फ़ैसलों की मेमोरी।
एक बार लिया गया फ़ैसला अगले एपिसोड में भी साथ चलता है।
MLFM का पूरा नाम क्या है?
मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल, एक नया पैराडाइम, अपनी तरह का पहला: एक ही मॉडल, जो टेक्स्ट, ऑडियो और विज़ुअल में तय करता है कि क्या लोकलाइज़ करना है और कैसे। यह किसी लाइन का वर्ज़न चुनता है, तय करता है कि ऑडियो में क्या ट्रांसलेट हो, स्क्रीन पर कौन बोल रहा है, और होंठ कैसे साथ चलें।
क्या MLFM नई फुटेज बनाता है?
नहीं। न कोई प्रॉम्प्ट है, न कुछ नया गढ़ा जाता है। ऐक्टर, टाइमिंग और सीन वही रहते हैं; शब्द, आवाज़ का ट्रैक और होंठ नई भाषा के हिसाब से बदलते हैं।
क्या MLFM स्क्रीन पर लिखा टेक्स्ट ट्रांसलेट करता है?
अभी नहीं। फ़्रेम में लिखा टेक्स्ट, जैसे फ़ोन स्क्रीन या सड़क का साइनबोर्ड, अभी जोड़ा जा रहा है, उन्हीं शब्दों में जो आप पहले चुन चुके हैं; कोई ब्रांड या नाम जैसा शूट हुआ वैसा ही रहता है। आज शब्द, आवाज़, होंठ, एक्सप्रेशन और हाव-भाव लोकलाइज़ होते हैं।
क्या मैं मॉडल का लिया कोई फ़ैसला बदल सकता हूं?
हां। हर फ़ैसला जॉब के साथ दर्ज होता है, और आप उसे ओवरराइड कर सकते हैं। आज आपके क्रिएटिव डायरेक्टर ट्रांसलेशन के वर्ज़न में से चुनते हैं, हर एक उसकी वजह के साथ; ऑडियो और विज़ुअल के विकल्प तैयारी में हैं।
मल्टीमोडल ट्रांसलेशन
Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन
हमारे निवेशक
Stanford
Yonsei

