सार
मशीन डबिंग का कैस्केड दौर क्या था?
- 01
ट्रांसक्रिप्शन।
स्पीच-टू-टेक्स्ट जो बोला गया, उसे लिख लेता है। - 02
ट्रांसलेशन।
एक टेक्स्ट मॉडल ट्रांसक्रिप्ट को नई भाषा में ढालता है, न आवाज़ सुनता है, न चेहरा देखता है। - 03
एक आवाज़।
टेक्स्ट-टू-स्पीच उसे पढ़कर सुनाता है, अक्सर किसी अजनबी की आवाज़ में। - 04
लिप सिंक।
हर शब्द तय हो जाने के बाद एक अलग टूल मुंह हिलाता है।
इसी चेन ने मशीन डबिंग को मुमकिन बनाया, पर हर चरण बाकियों को जाने बिना अंदाज़ा लगाता है। ट्रांसलेशन नहीं जान सकता कि लाइन को बंद मुंह में फ़िट होना है; आवाज़ नहीं जान सकती कि वह किस कमरे में है। गलत सुना गया कोई शब्द या लंबी खिंचती कोई लाइन आगे बढ़ा दी जाती है, और गलती बढ़ती जाती है।
आज खरीदार के सामने क्या आता है?
पूरी इंसानी डबिंग, ट्रांसलेशन और आवाज़ मिलाकर, हर तैयार मिनट पर $70–150 की पड़ती है।
मशीन वाला रास्ता टूल्स के एक ढेर की शक्ल में आता है, और एक लाइन ठीक करनी हो तो उसके बाद का हर चरण दोबारा चलाना पड़ता है। असिस्टिव टूल्स VFX आर्टिस्ट्स की एक टीम लगाकर क्वालिटी तक पहुंचते हैं: हर प्रोजेक्ट पर कई हफ़्ते, और हर भाषा एक नया प्रोजेक्ट। वन-शॉट टूल्स तेज़ हैं और बाकी सब छोड़ देते हैं। Familiar Labs एक ही शॉट में यह क्वालिटी देता है।
आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं
अगर आप ElevenLabs Dubbing पर विचार कर रहे हैं, तो उनका डॉक्यूमेंटेशन हमारी स्टडी के साथ:
ट्रांसलेशन एडिट करना है, तो उनका पुराना मॉडल ही चलेगा।
+27.8%
Familiar Labs असली बोलने वाले के ज़्यादा करीब, सभी 11 भाषाओं में
261%
ElevenLabs में बैकग्राउंड साउंड की ज़्यादा गड़बड़ी: म्यूज़िक, माहौल
+243.7%
हंसी और रिएक्शन के अंदाज़ में Familiar Labs आगे
जब एक ही मॉडल सारे फ़ैसले ले, तो क्या बदलता है?
Familiar Labs एक मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से डब करता है: वह टेक्स्ट, ऑडियो और विज़ुअल में तय करता है कि क्या लोकलाइज़ करना है और कैसे, ताकि फ़ैसले आपस में मेल खाएं। इसकी परिभाषा मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल में है।
कैस्केड
- चार टूल, हर एक अकेले में ट्यून।
- आवाज़ सुनने से पहले ही ट्रांसलेशन तय हो जाता है।
- किसी अजनबी की आवाज़ बेमेल चेहरे पर आ सकती है।
एक साथ, अपनी तरह का पहला
- ट्रांसलेशन जानता है कि उसे किस मुंह में फ़िट होना है।
- आवाज़ जानती है कि वह किस सीन में है।
- इंसान कभी नहीं बदलता।
जो लाइन लंबी खिंचती, उसे कोई भी आवाज़ बनने से पहले ही फ़िट होने लायक ढाला जाता है। वाक्य के बीच की हंसी, हंसी ही रहती है। जब दो लोग एक-दूसरे की बात काटकर बोलते हैं, तो सही होंठ हिलते हैं। एक अपलोड एक साथ 13 भाषाओं में जाता है, किसी से भी किसी में भी।
तैयार डब में इससे क्या बदलता है?
Familiar Labs की, एक्सपर्ट इंसानी ट्रांसलेशन की क्वालिटी के मुकाबले: बराबरी
फ़्रेंच, चीनी, हिंदी, इंडोनेशियाई (एक्सपर्ट प्रोफेशनल ट्रांसलेटर्स का पहला ड्राफ्ट)Familiar Labs से ट्रांसलेशन की कम बड़ी गलतियां (29 बनाम 64)
ELEVENLABS DUBBING V2 (ALPHA) के मुकाबले · 3 भाषाएंElevenLabs में बैकग्राउंड साउंड की ज़्यादा गड़बड़ी (11.92 बनाम 3.22 dB)
उनके सबसे नए DUBBING V2 (ALPHA) के मुकाबले · 111 जोड़ी डब · म्यूज़िक, इफेक्ट्स और कमरे का माहौलFamiliar Labs की आवाज़ ElevenLabs Dubbing v1 से 27.8% ज़्यादा असली बोलने वाले जैसी भी लगती है, सभी 11 भाषाओं में ज़्यादा करीब। YouTube की ऑटो-डबिंग में उसकी अपनी स्टडी में बैकग्राउंड साउंड की गड़बड़ी 232.6% ज़्यादा रही। हर स्टडी बेंचमार्क पर है।
“पहले ट्रांसलेशन, फिर एक ही शॉट में डब” का मतलब क्या है?
आपके क्रिएटिव डायरेक्टर पहले ट्रांसलेशन रिव्यू करते हैं: जहां कोई लाइन एक से ज़्यादा तरह से कही जा सकती है, वहां वे हर वर्ज़न उसकी वजह के साथ देखते हैं और एक चुनते हैं। उसके बाद ही डब बनता है, एक बार। 'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। थकाऊ काम के लिए MLFM।
Do Not Translate लिस्ट और एक वाक्य का कॉन्टेक्स्ट जॉब के साथ चलते हैं। हर फ़ैसला जॉब के साथ दर्ज होता है, और आप इनमें से कोई भी फ़ैसला बदल सकते हैं; उसी रिव्यू पर ऑडियो और विज़ुअल फ़ैसले तैयारी में हैं। पूरी कहानी फ़ैसलों का रिकॉर्ड में है, और रिसर्च मल्टीमोडल ट्रांसलेशन की शुरुआत में। इंसान से इंसान तक, पहुंच बढ़ाते हुए।
सवाल
डबिंग में “कैस्केड में नहीं” का मतलब क्या है?
पहले मशीन डबिंग एक के बाद एक अलग टूल्स से होकर चलती थी: ट्रांसक्रिप्शन, ट्रांसलेशन, आवाज़, लिप सिंक, हर एक अकेले में ट्यून। कैस्केड में नहीं, यानी एक ही मॉडल सारे फ़ैसले साथ लेता है, इसलिए ट्रांसलेशन, आवाज़, होंठ और सीन आपस में मेल खाते हैं।
क्या डब बनने से पहले ट्रांसलेशन रिव्यू होता है?
हां। जहां कोई लाइन एक से ज़्यादा तरह से कही जा सकती है, वहां आपके क्रिएटिव डायरेक्टर हर वर्ज़न उसकी वजह के साथ देखते हैं और एक चुनते हैं। फिर डब एक ही शॉट में बनता है: आवाज़, होंठ और सीन, सब साथ।
क्या यह जनरेटिव AI है?
'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। कोई प्रॉम्प्ट नहीं, और कुछ भी नया गढ़ा नहीं जाता। एक्टर, टाइमिंग और सीन वैसे ही रहते हैं; शब्द, आवाज़ का ट्रैक और होंठ नई भाषा के हिसाब से बदलते हैं।
मेरी फुटेज कहां प्रोसेस होती है?
टोरंटो, कनाडा में NVIDIA B300 GPU के Familiar Labs के अपने करोड़ों डॉलर के क्लस्टर पर। कभी Google Cloud या AWS जैसे पब्लिक क्लाउड पर नहीं, और कभी किसी थर्ड-पार्टी इनफरेंस प्रोवाइडर के पास नहीं।
संदर्भ
मल्टीमोडल ट्रांसलेशन
Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन
