सार
मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल क्या होता है?
अपनी तरह का पहला
वीडियो अपने शब्दों से ज़्यादा कहता है: आवाज़, मुंह, कमरे में गूंजती हंसी और सीन के नीचे बजता म्यूज़िक, सबका अपना मतलब होता है। अच्छा ट्रांसलेशन यानी यह सब दूसरी भाषा में ले जाना, आपस में मेल बनाए रखते हुए। पूरा काम करने वाला पहला मॉडल Familiar Labs ने बनाया: मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM)।
जब एक ही मॉडल सब कुछ एक साथ ले जाए, तो क्या बदलता है?
मशीन डबिंग एक चेन के रूप में शुरू हुई: ट्रांसक्रिप्शन, फिर ट्रांसलेशन, फिर आवाज़, फिर लिप सिंक। हर चरण बाकियों के बिना काम करता था, इसलिए शुरुआत की छोटी-सी गलती आगे हर चरण पर बढ़ती गई।
कैस्केड का दौर
- अलग-अलग टूल, एक के बाद एक।
- ट्रांसलेशन कभी वह मुंह नहीं देखता जिसमें उसे फ़िट होना है।
- ओरिजिनल चेहरे पर किसी अजनबी की आवाज़।
पहला फ़ाउंडेशन मॉडल
- एक मॉडल, फ़ैसलों का एक सेट।
- ट्रांसलेशन मुंह को जानता है; आवाज़ सीन को जानती है।
- इंसान कभी नहीं बदलता।
ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं: अपनी तरह का पहला। हंसी, भीड़ और म्यूज़िक वैसे ही रहते हैं; उन्हीं क्लिप्स पर YouTube में Familiar Labs से 232.6% ज़्यादा बैकग्राउंड साउंड की गड़बड़ी रही। सिर्फ शब्दों पर, ट्रांसलेशन एक्सपर्ट प्रोफेशनल के पहले ड्राफ्ट की क्वालिटी का 100.3% है (बेंचमार्क)।
आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं
MLFM क्या तय करता है, और आप क्या चुनते हैं?
मॉडल क्या तय करता है, आप क्या चुनते हैं
हर फ़ैसला जॉब के साथ दर्ज होता है, और आप इनमें से कोई भी बदल सकते हैं (फ़ैसलों का रिकॉर्ड)। फ़्रेम में कोई ब्रांड या नाम जैसा शूट हुआ वैसा ही रहता है, यह मौके पर ही तय होता है: Tostitos का पैकेट Tostitos ही रहता है। पूरी परिभाषा मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) क्या है? में है।
स्टूडियो को क्या मिलता है?
इंसानी डबिंग हर तैयार मिनट पर $70 से $150 बैठती है, इसलिए लागत, लोगों और वक्त की वजह से बड़ी से बड़ी प्रोडक्शंस भी गिनी-चुनी भाषाओं में ही डब करती हैं; छोटी प्रोडक्शंस, शोज़ और वर्टिकल ड्रामा डब ही नहीं करते। असिस्टिव रास्ते में VFX आर्टिस्ट्स की टीम हर प्रोजेक्ट पर हफ़्तों लगाती है, और हर भाषा एक नया प्रोजेक्ट होती है। Familiar Labs एक ही शॉट है: एक अपलोड किसी वीडियो को आपकी चुनी हर भाषा में ले जाता है।
भाषाएं
13
किसी से भी किसी में भी।
तैयार वीडियो
4K तक
पूरा मिक्स
असली 5.1 सराउंड या स्टीरियो
आपकी पसंद, 24-बिट PCM में।
सबटाइटल्स
.srt और .vtt
Netflix की Timed Text Style Guide के नियमों के हिसाब से कटे हुए, वही सबटाइटल टेम्पलेट स्टैंडर्ड जिस पर इंडस्ट्री काम करती है।
प्राइवेट इनफरेंस
टोरंटो, कनाडा
NVIDIA B300 GPU का करोड़ों डॉलर का क्लस्टर, जो हमारा अपना है; कभी कोई पब्लिक क्लाउड या थर्ड-पार्टी इनफरेंस प्रोवाइडर नहीं।
इसके पीछे वे PhD हैं जिन्होंने इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स की फील्ड शुरू की: 22 पेपर, 10,000 से ज़्यादा उद्धरण, प्रो. Xu Zheng और प्रो. Youngjung Uh सलाहकार, और Samsung, RedBird और Gold House का समर्थन (हमारी रिसर्च, प्राइवेट इनफरेंस)।
क्या ट्रांसलेशन का फ़ाउंडेशन मॉडल जनरेटिव AI है?
जनरेटिव AI, जिसे कभी-कभी जेन AI भी कहा जाता है, ऐसी आर्टिफ़िशियल इंटेलिजेंस (AI) है जो यूज़र के प्रॉम्प्ट या अनुरोध पर टेक्स्ट, इमेज, वीडियो, ऑडियो या सॉफ़्टवेयर कोड जैसा ओरिजिनल कंटेंट बना सकती है।
पारंपरिक मायनों में नहीं। MLFM में कोई प्रॉम्प्ट नहीं, और कुछ भी नया गढ़ा नहीं जाता: जो पहले से मौजूद है, वह उसे दूसरी भाषा में ले जाता है। 'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। इंसान से इंसान तक, पहुंच बढ़ाते हुए।
इस सीरीज़ के बाकी पेपर्स: ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं, स्टूडियो और प्लेटफ़ॉर्म्स के लिए और मल्टीमोडल ट्रांसलेशन की शुरुआत।
सवाल
मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल क्या होता है?
एक ही मॉडल, जो किसी वीडियो के शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है। Familiar Labs का मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) अपनी तरह का पहला है; स्क्रीन पर दिखता इंसान कभी नहीं बदलता।
यह अब तक की मशीन डबिंग से कैसे अलग है?
अब तक की मशीन डबिंग अलग-अलग टूल्स की एक चेन थी, हर एक बाकियों को जाने बिना अंदाज़ा लगाता हुआ। MLFM फ़ैसले साथ लेता है। पहले ट्रांसलेशन, फिर एक ही शॉट में डब: आवाज़, होंठ और सीन, सब साथ।
क्या मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल जनरेटिव AI है?
पारंपरिक मायनों में नहीं। कोई प्रॉम्प्ट नहीं, और कुछ भी नया गढ़ा नहीं जाता: MLFM तय करता है कि पहले से मौजूद फुटेज को कैसे लोकलाइज़ किया जाए।
क्या मैं देख सकता हूं कि मॉडल ने क्या तय किया?
हां। हर फ़ैसला जॉब के साथ दर्ज होता है, और आप इनमें से कोई भी बदल सकते हैं। आज आपके क्रिएटिव डायरेक्टर ट्रांसलेशन के वर्ज़न्स में से चुनते हैं; ऑडियो और विज़ुअल के विकल्प तैयारी में हैं।
संदर्भ
मल्टीमोडल ट्रांसलेशन
Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन
