सवाल
एक पीढ़ी आगे की डबिंग: आपकी आवाज़ और होंठ, अब नई भाषाओं में; ElevenLabs और HeyGen को जोड़ने पर भी आप देखने-सुनने में किसी अजनबी जैसे ही लगेंगे। और यह AI लिप सिंक से कहीं बढ़कर है: नई भाषा को पूरा चेहरा निभाता है, चेहरे की आड़ और स्पेशियल रीज़निंग समेत।
हमारे पब्लिश किए बेंचमार्क में:
- उसके सबसे नए प्रोडक्ट में बैकग्राउंड साउंड की गड़बड़ी 270% ज़्यादा रही: हंसी, म्यूज़िक, माहौल
- हमने उसके सबसे नए प्रोडक्ट से ट्रांसलेशन की बड़ी गलतियां 54.7% कम कीं
- उसके Dubbing v1 पर हमारी आवाज़ 27.8% ज़्यादा असली बोलने वाले जैसी लगी, सभी 11 भाषाओं में ज़्यादा करीब
उन्हीं क्लिप्स पर ElevenLabs ने:
- 45 बार शब्द छोड़े या अपने मन से गढ़ दिए
- 8 बार हंसी और साउंड इफेक्ट्स बिगाड़े
- 6 बार बोलने वाले की आवाज़ ही खो दी
- 6 बार एक साथ बोल रहे लोगों की आवाज़ें आपस में उलझा दीं
- 4 बार बोलने का अंदाज़ फीका कर दिया
- 4 बार सीन का माहौल ही उड़ा दिया
- उसका API 11 सेकंड से छोटी क्लिप्स लेता ही नहीं
अलग-अलग टूल्स जोड़कर यही काम खुद करें तो $11 प्रति मिनट बैठता है: Sync.so के लिप सिंक के $8, ऊपर से ElevenLabs के ऑडियो के $3। Familiar Labs के एक डब में आवाज़, लिप सिंक और ट्रांसलेशन तीनों शामिल हैं, 4K तक, असली 5.1 सराउंड या स्टीरियो मिक्स में।
MLFM मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है, एक नया पैराडाइम, अपनी तरह का पहला: एक ही मॉडल, जो टेक्स्ट, ऑडियो और विज़ुअल में तय करता है कि क्या लोकलाइज़ करना है और कैसे, और ज़रूरी फ़ैसले आपके सामने रखता है। पहले ट्रांसलेशन, फिर एक ही बार में पूरा डब: आवाज़, होंठ और सीन एक साथ।
- ट्रांसलेशन में: किसी मज़ाक, किस्से या बातचीत के मोड़ को कौन-सा वर्ज़न सबसे अच्छे से निभाता है: क्या ट्रांसलेट न करें, स्लैंग जैसा बोला गया वैसा, नाम और ब्रांड वैसे के वैसे, कोई रेफ़रेंस बदलना, किसी कल्चर में किन बातों से बचा जाता है, ऑडियंस के हिसाब से गालियों का स्तर। आपके क्रिएटिव डायरेक्टर वजह के साथ विकल्प देखते हैं और चुनते हैं।
- ऑडियो में: ट्रांसलेट करना भी है या नहीं। यह मुख्य आवाज़ ढूंढता है और हंसी, भीड़ और किसी चीख को जैसे थे वैसे रखता है; ओरिजिनल में क्या रहे, यह चुनने का विकल्प तैयारी में है।
- विज़ुअल में: स्क्रीन पर कौन बोल रहा है, कौन नैरेट कर रहा है, कौन स्क्रीन के बाहर है; होंठ, चेहरे की आड़ और स्पेशियल रीज़निंग समेत; और जब ज़ोर देने की ज़रूरत हो, तो एक्सप्रेशन और हाव-भाव। फ्रेम में लिखा टेक्स्ट तैयारी में है: यह मौके पर ही तय करता है कि क्या वैसा ही रहे जैसा शूट हुआ, कोई ब्रांड, कोई नाम, स्लैंग, ताकि Tostitos का पैकेट Tostitos ही रहे; कौन-सा चेहरा और कौन-सा टेक्स्ट, यह चुनने का विकल्प भी साथ आता है।
हर फ़ैसला जॉब के साथ रिकॉर्ड होता है और आप उसे बदल सकते हैं। कोई प्रॉम्प्ट नहीं, कुछ भी नया गढ़ा नहीं जाता: यह तय करता है कि जो पहले से मौजूद है उसे कैसे लोकलाइज़ किया जाए।

