सार
चार समस्याएं, एक समस्या
गलत ट्रांसलेट हुआ एक वाक्य या साफ़ सुनाई देती गलत आवाज़ अकेले ही डब को खत्म कर देती है। आखिरी दो तय करती हैं कि नतीजा ओरिजिनल जैसा लगे या डब जैसा।
नैचुरल ट्रांसलेशन: एक नई स्क्रिप्ट, मिलान नहीं
वाक्य-दर-वाक्य ट्रांसलेट हुआ डब समझ में तो आता है, पर गलत होता है।
जापानी में सीधी बात कहने से बचा जाता है, इसलिए नैचुरल लाइन को अक्सर घुमा-फिराकर नए सिरे से गढ़ना पड़ता है। कोरियाई में कर्ता बार-बार छोड़ दिया जाता है; अंग्रेज़ी के सर्वनाम अंग्रेज़ी जितनी ही बार आएं, तो हर शब्द सही होने पर भी बात परायी लगती है।
मापा गया: पहले ड्राफ्ट वाले एक्सपर्ट प्रोफ़ेशनल की क्वालिटी का 100.3% (फ़्रेंच, चीनी, हिंदी, इंडोनेशियाई, ब्लाइंड स्कोरिंग), और उन्हीं क्लिप्स पर ElevenLabs से 54.7% कम बड़ी ट्रांसलेशन गलतियां (29 बनाम 64, Dubbing v2 (Alpha), 111 पेयर्ड डब)।
नैचुरल ऑडियो: वही इंसान, नई भाषा में
पहचान
वही इंसान हर भाषा में वही इंसान लगता रहे।
इमोशन
बोलने वाले ने जो महसूस किया, वह भाषा बदलने पर भी बचा रहे।
ज़ोर, रफ़्तार, इरादा
वाक्य कहां झुकता है, कितनी तेज़ चलता है, क्या करना चाहता है।
उच्चारण लगभग सुलझ चुका है; डब इन्हीं तीन पर नाकाम होते हैं। सीन भी ऑडियो का हिस्सा है: हंसी, म्यूज़िक, कमरे का माहौल।
ElevenLabs से बैकग्राउंड साउंड को ज़्यादा नुकसान (11.92 बनाम 3.22 dB): म्यूज़िक, इफ़ेक्ट्स, माहौल
DUBBING V2 (ALPHA) स्टडी · वही क्लिप्सFamiliar Labs से बोलने वाले से ज़्यादा मिलती आवाज़ (0.461 बनाम 0.360), सभी 11 भाषाओं में ज़्यादा करीब
ELEVENLABS के मुकाबले · DUBBING V1 स्टडी · 418 पेयर्ड डबट्रांसलेशन एडिट करना है, तो उनका पुराना मॉडल ही चलेगा।
+27.8%
Familiar Labs असली बोलने वाले के ज़्यादा करीब, सभी 11 भाषाओं में
261%
ElevenLabs में बैकग्राउंड साउंड की ज़्यादा गड़बड़ी: म्यूज़िक, माहौल
+243.7%
हंसी और रिएक्शन के अंदाज़ में Familiar Labs आगे
स्क्रीन पर लिखा टेक्स्ट वीडियो का हिस्सा है
कैप्शन, मीम्स, बीट पर टाइम किया गया एक शब्द: हर एक सोर्स भाषा में एक विज़ुअल घटना है। वीडियो को कभी नुकसान न पहुंचे, इसे कभी शाब्दिक ट्रांसलेट न करें; छूने से पहले जानें कि टेक्स्ट वहां क्यों है।
- आज
टाइटल, ब्यौरे और सबटाइटल्स
डब के साथ ट्रांसलेट होते हैं, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो एक नया पैराडाइम और मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है। - तैयारी में
फ़्रेम के अंदर का टेक्स्ट
फ़ोन स्क्रीन या सड़क का साइनबोर्ड, आपके चुने शब्दों में; ब्रांड मौके पर ही जैसा शूट हुआ वैसा, ताकि Tostitos का पैकेट Tostitos ही रहे।
लिप सिंक: कामयाबी तब, जब किसी को पता न चले
मुश्किल हिस्से: स्क्रीन के बाहर से आती आवाज़ें, एक साथ बोलते लोग, एक जैसे दिखने वाले लोग, और चेहरा बिगाड़े बिना मुंह एडिट करना। स्क्रीन पर दो लोग रखिए, और आज के टूल्स दोनों के मुंह एक साथ लिप सिंक कर देते हैं।
होंठ तो बस शुरुआत हैं।
इंसान कोई वाक्य पूरे चेहरे और शरीर से निभाता है: आंखें, भौंहें, इशारे, सुनते वक्त का वह आधा ठहराव। MLFM के नतीजे /benchmark पर पब्लिश हैं; हर फ़ैसला दर्ज होता है और ओवरराइड किया जा सकता है।
संदर्भ
- [1]Familiar Labs बनाम ElevenLabs बेंचमार्क: पूरे नतीजे, इंटरवल और सुनने के उदाहरण
- [2]AI बनाम इंसानी ट्रांसलेशन: प्रोफेशनल्स के मुकाबले टेस्ट
- [3]AI लिप सिंक: यह क्या है, क्या चूक जाता है, और इससे बेहतर क्या है
- [4]विदेश में डब अटपटा क्यों लगता है, और स्टूडियो इसे कैसे ठीक करते हैं (इसी तर्क का स्टूडियो वाला वर्ज़न)
- [5]McGurk & MacDonald, “Hearing lips and seeing voices,” Nature 264 (1976)
मल्टीमोडल ट्रांसलेशन
Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन
