परिभाषा

मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल

FAMILIAR LABS रिसर्चअपडेट सारे लेख

सार

Familiar Labs मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल, जो शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है। अब तक मशीन डबिंग अलग-अलग टूल्स से होकर गुज़रती थी, और हर टूल बाकियों को जाने बिना अंदाज़ा लगाता था। मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) फ़ैसले साथ लेता है, ताकि वही एक्टर हर भाषा में वही परफ़ॉर्मेंस दे। पहले ट्रांसलेशन, फिर एक ही शॉट में डब: आवाज़, होंठ और सीन, सब साथ।
मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल

मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल क्या होता है?

++

अपनी तरह का पहला

एक ही मॉडल, जो शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है।

वीडियो अपने शब्दों से ज़्यादा कहता है: आवाज़, मुंह, कमरे में गूंजती हंसी और सीन के नीचे बजता म्यूज़िक, सबका अपना मतलब होता है। अच्छा ट्रांसलेशन यानी यह सब दूसरी भाषा में ले जाना, आपस में मेल बनाए रखते हुए। पूरा काम करने वाला पहला मॉडल Familiar Labs ने बनाया: मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM)।

जब एक ही मॉडल सब कुछ एक साथ ले जाए, तो क्या बदलता है?

मशीन डबिंग एक चेन के रूप में शुरू हुई: ट्रांसक्रिप्शन, फिर ट्रांसलेशन, फिर आवाज़, फिर लिप सिंक। हर चरण बाकियों के बिना काम करता था, इसलिए शुरुआत की छोटी-सी गलती आगे हर चरण पर बढ़ती गई।

कैस्केड का दौर

  • अलग-अलग टूल, एक के बाद एक।
  • ट्रांसलेशन कभी वह मुंह नहीं देखता जिसमें उसे फ़िट होना है।
  • ओरिजिनल चेहरे पर किसी अजनबी की आवाज़।

पहला फ़ाउंडेशन मॉडल

  • एक मॉडल, फ़ैसलों का एक सेट।
  • ट्रांसलेशन मुंह को जानता है; आवाज़ सीन को जानती है।
  • इंसान कभी नहीं बदलता।

ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं: अपनी तरह का पहला। हंसी, भीड़ और म्यूज़िक वैसे ही रहते हैं; उन्हीं क्लिप्स पर YouTube में Familiar Labs से 232.6% ज़्यादा बैकग्राउंड साउंड की गड़बड़ी रही। सिर्फ शब्दों पर, ट्रांसलेशन एक्सपर्ट प्रोफेशनल के पहले ड्राफ्ट की क्वालिटी का 100.3% है (बेंचमार्क)।

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsवन-शॉट टूल्स · कोई कंट्रोल नहीं

आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं

ट्रांसलेशन एडिट नहीं हो सकता, म्यूज़िक और माहौल गायब हो जाते हैं, आवाज़ भटक जाती है, और चेहरे पर हाथ, माइक, ब्लर, बोकेह, साइड व्यू या फ़्रेम में कई लोग हों, तो होंठ साथ छोड़ देते हैं। न स्पेशियल रीज़निंग, न दुनिया की समझ, न कोई कंट्रोल।

MLFM क्या तय करता है, और आप क्या चुनते हैं?

मॉडल क्या तय करता है, आप क्या चुनते हैं

टेक्स्ट
MLFM तय करता है
कौन-सा वर्ज़न किसी लाइन को नई भाषा में ले जाए: शब्दावली, स्लैंग, नाम, रेफ़रेंस।
आप चुनते हैं
आज: आपके क्रिएटिव डायरेक्टर वर्ज़न्स में से चुनते हैं, हर एक उसकी वजह के साथ।
ऑडियो
MLFM तय करता है
ट्रांसलेट करना भी है या नहीं: मुख्य आवाज़ बोलने वाले की अपनी आवाज़ में, बाकी सब वैसा ही।
आप चुनते हैं
तैयारी में: क्या ओरिजिनल भाषा में रहे।
विज़ुअल
MLFM तय करता है
असल में कौन बोल रहा है, और होंठ और हाव-भाव कैसे साथ चलें।
आप चुनते हैं
तैयारी में: दूसरा चेहरा, और फ़्रेम का कौन-सा टेक्स्ट ट्रांसलेट हो।

हर फ़ैसला जॉब के साथ दर्ज होता है, और आप इनमें से कोई भी बदल सकते हैं (फ़ैसलों का रिकॉर्ड)। फ़्रेम में कोई ब्रांड या नाम जैसा शूट हुआ वैसा ही रहता है, यह मौके पर ही तय होता है: Tostitos का पैकेट Tostitos ही रहता है। पूरी परिभाषा मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) क्या है? में है।

स्टूडियो को क्या मिलता है?

इंसानी डबिंग हर तैयार मिनट पर $70 से $150 बैठती है, इसलिए लागत, लोगों और वक्त की वजह से बड़ी से बड़ी प्रोडक्शंस भी गिनी-चुनी भाषाओं में ही डब करती हैं; छोटी प्रोडक्शंस, शोज़ और वर्टिकल ड्रामा डब ही नहीं करते। असिस्टिव रास्ते में VFX आर्टिस्ट्स की टीम हर प्रोजेक्ट पर हफ़्तों लगाती है, और हर भाषा एक नया प्रोजेक्ट होती है। Familiar Labs एक ही शॉट है: एक अपलोड किसी वीडियो को आपकी चुनी हर भाषा में ले जाता है।

भाषाएं

13

किसी से भी किसी में भी।

तैयार वीडियो

4K तक

पूरा मिक्स

असली 5.1 सराउंड या स्टीरियो

आपकी पसंद, 24-बिट PCM में।

सबटाइटल्स

.srt और .vtt

Netflix की Timed Text Style Guide के नियमों के हिसाब से कटे हुए, वही सबटाइटल टेम्पलेट स्टैंडर्ड जिस पर इंडस्ट्री काम करती है।

प्राइवेट इनफरेंस

टोरंटो, कनाडा

NVIDIA B300 GPU का करोड़ों डॉलर का क्लस्टर, जो हमारा अपना है; कभी कोई पब्लिक क्लाउड या थर्ड-पार्टी इनफरेंस प्रोवाइडर नहीं।

इसके पीछे वे PhD हैं जिन्होंने इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स की फील्ड शुरू की: 22 पेपर, 10,000 से ज़्यादा उद्धरण, प्रो. Xu Zheng और प्रो. Youngjung Uh सलाहकार, और Samsung, RedBird और Gold House का समर्थन (हमारी रिसर्च, प्राइवेट इनफरेंस)।

क्या ट्रांसलेशन का फ़ाउंडेशन मॉडल जनरेटिव AI है?

जनरेटिव AI, जिसे कभी-कभी जेन AI भी कहा जाता है, ऐसी आर्टिफ़िशियल इंटेलिजेंस (AI) है जो यूज़र के प्रॉम्प्ट या अनुरोध पर टेक्स्ट, इमेज, वीडियो, ऑडियो या सॉफ़्टवेयर कोड जैसा ओरिजिनल कंटेंट बना सकती है।
IBM, जनरेटिव AI क्या है?

पारंपरिक मायनों में नहीं। MLFM में कोई प्रॉम्प्ट नहीं, और कुछ भी नया गढ़ा नहीं जाता: जो पहले से मौजूद है, वह उसे दूसरी भाषा में ले जाता है। 'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। इंसान से इंसान तक, पहुंच बढ़ाते हुए।

इस सीरीज़ के बाकी पेपर्स: ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं, स्टूडियो और प्लेटफ़ॉर्म्स के लिए और मल्टीमोडल ट्रांसलेशन की शुरुआत।

सवाल

मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल क्या होता है?

एक ही मॉडल, जो किसी वीडियो के शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है। Familiar Labs का मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) अपनी तरह का पहला है; स्क्रीन पर दिखता इंसान कभी नहीं बदलता।

यह अब तक की मशीन डबिंग से कैसे अलग है?

अब तक की मशीन डबिंग अलग-अलग टूल्स की एक चेन थी, हर एक बाकियों को जाने बिना अंदाज़ा लगाता हुआ। MLFM फ़ैसले साथ लेता है। पहले ट्रांसलेशन, फिर एक ही शॉट में डब: आवाज़, होंठ और सीन, सब साथ।

क्या मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल जनरेटिव AI है?

पारंपरिक मायनों में नहीं। कोई प्रॉम्प्ट नहीं, और कुछ भी नया गढ़ा नहीं जाता: MLFM तय करता है कि पहले से मौजूद फुटेज को कैसे लोकलाइज़ किया जाए।

क्या मैं देख सकता हूं कि मॉडल ने क्या तय किया?

हां। हर फ़ैसला जॉब के साथ दर्ज होता है, और आप इनमें से कोई भी बदल सकते हैं। आज आपके क्रिएटिव डायरेक्टर ट्रांसलेशन के वर्ज़न्स में से चुनते हैं; ऑडियो और विज़ुअल के विकल्प तैयारी में हैं।

संदर्भ

  1. [1]IBM, जनरेटिव AI क्या है?, 27 अक्टूबर 2026 को पढ़ा गया
  2. [2]Netflix, Timed Text Style Guide: Subtitle Templates, 30 अक्टूबर 2026 को पढ़ी गई
  3. [3]Familiar Labs बेंचमार्क
  4. [4]हमारा मिशन

मल्टीमोडल ट्रांसलेशन

Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन