समझिए

ट्रांसलेशन जनरेशन नहीं है

FAMILIAR LABS रिसर्चअपडेट सारे लेख

सार

'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। जनरेट करना और ट्रांसलेट करना दो अलग काम हैं। जनरेट करना कुछ नया बनाता है; ट्रांसलेट करना एक परफ़ॉर्मेंस को दूसरी भाषा में ले जाता है। Familiar Labs एक नया पैराडाइम है, अपनी तरह का पहला: मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM), मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल।
मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल

दो क्रियाएं

जनरेट करना

  • अंदर: एक प्रॉम्प्ट
  • बाहर: नया कंटेंट
  • कसौटी: नतीजा कितना नया है

ट्रांसलेट करना

  • अंदर: एक तैयार परफ़ॉर्मेंस
  • बाहर: वही परफ़ॉर्मेंस, दूसरी भाषा में
  • कसौटी: ओरिजिनल के प्रति कितनी वफ़ादार रहती है

डब का मकसद ठीक उलटा है: हर शब्द समझ आए, और वह पूरी परफ़ॉर्मेंस बनी रहे जिसे दर्शक पहले से जानते हैं (परफ़ॉर्मर इंसान ही क्यों रहेंगे)। कोई भी ट्रांसलेटर इसी पर परखा जाता है कि वह अपनी तरफ़ से कितना कम गढ़ता है।

क्या रहता है, क्या बदलता है

एक्टर
बदलता है
शब्द
चेहरा
बदलता है
होंठों की हरकत
टाइमिंग
बदलता है
वॉइस ट्रैक
सीन की आवाज़ें
बदलता है

नई आवाज़ एक्टर की अपनी है। Do Not Translate लिस्ट के ज़रिए नाम वैसे ही रहते हैं जैसे बोले गए; मज़ाक दोबारा लिखे जाते हैं ताकि असर करें।

लिप सिंक ट्रांसलेशन का हिस्सा क्यों है

मैकगर्क इफेक्ट में [g] बोलते चेहरे पर [b] बोलती आवाज़ आमतौर पर [d] सुनाई देती है (Tiippana, 2014, McGurk और MacDonald, 1976 का वर्णन करते हुए)। दिमाग जो देखता है और जो सुनता है, दोनों को मिला देता है।
आवाज़ [b] + चेहरा [g] = सुनाई दिया [d]

सिर्फ आवाज़ वाला डब हर फ़्रेम में यही बेमेल छोड़ जाता है। होंठ भी संदेश का हिस्सा हैं, इसलिए Familiar Labs के डब में होंठ नए शब्दों के साथ हिलते हैं (लिप सिंक क्यों ज़रूरी है)।

बाहर जाने से पहले क्रिएटिव डायरेक्टर्स रिव्यू करते हैं

  1. 01

    मुश्किल लाइनें तीन तरह से लौटती हैं

    कोई मज़ाक, कोई तंज़, कोई रूखी लाइन: अलग-अलग इरादे और भावना वाले तीन ट्रांसलेशन।
  2. 02

    टीम एक चुनती है और एडिट करती है

    कोई भी लाइन, ओरिजिनल से मिलाकर, रेंडर से पहले।

थकाऊ काम के लिए MLFM।

थकाऊ हिस्सा है हर लाइन के लिए तय करना कि कौन-सी आवाज़ हो और होंठ कैसे साथ चलें। MLFM यह तय करता है और हर फ़ैसला जॉब के साथ रिकॉर्ड करता है, ताकि आपकी टीम उसे बदल सके।

++
जिस डेटा पर हमने ट्रेनिंग की, वह सारा असल में Familiar Labs टीम ने ही बनाया है।

तैयारी में: कौन-सी आवाज़ें ओरिजिनल भाषा में रहें, और कौन-सा चेहरा या स्क्रीन का कौन-सा टेक्स्ट ट्रांसलेट हो। कौन-सा मज़ाक असर करेगा, यह उन्हीं लोगों के हाथ में रहता है जिन्होंने काम बनाया। हम क्रिएटिव प्रोसेस का एक और टूल हैं।

सवाल

क्या Familiar Labs जनरेटिव AI है?

नहीं। यह तय करता है कि जो पहले से मौजूद है उसे कैसे लोकलाइज़ किया जाए, किसी प्रॉम्प्ट के बिना: आपका वीडियो अंदर जाता है, और वही परफ़ॉर्मेंस दूसरी भाषा में बाहर आती है।

मेरे म्यूज़िक और साउंड इफेक्ट्स का क्या होगा?

वे नए डायलॉग के नीचे बने रहते हैं: हंसी, म्यूज़िक, साउंड इफेक्ट्स, माहौल।

क्या मैं ट्रांसलेशन ठीक कर सकता हूं?

हां। हर वीडियो रेंडर से पहले एक रिव्यू स्क्रीन पर रुकता है।

संदर्भ

  1. [1]Tiippana, K. (2014). What is the McGurk effect? Frontiers in Psychology 5:725, 24 अक्टूबर 2026 को पढ़ा गया
  2. [2]Familiar Labs FAQ: लिप सिंक क्यों ज़रूरी है?
  3. [3]AI लिप सिंक: यह क्या है, क्या छूट जाता है, और इससे बेहतर क्या है
  4. [4]Familiar Labs पारंपरिक जनरेटिव AI क्यों नहीं है
  5. [5]क्रिएटिव प्रोसेस का एक और टूल

मल्टीमोडल ट्रांसलेशन

Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन

हमारे निवेशक

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo