सार
AI लिप सिंक क्या है
लिप सिंकAI लिप सिंक
रिलीज़ लायक क्वालिटी पर इसमें VFX आर्टिस्ट्स की एक टीम को हर प्रोजेक्ट पर हफ़्ते लगते हैं। वन-शॉट टूल्स तेज़ हैं, पर आम शॉट्स पर चूक जाते हैं: चेहरे पर हाथ, माइक, ब्लर, फ़्रेम में कई लोग। Familiar Labs में एक ही बार का काम भी है और क्वालिटी भी।
सिर्फ़ होंठ क्यों काफ़ी नहीं, आंकड़ों में
Familiar Labs की आवाज़ असली बोलने वाले जैसी ज़्यादा लगती है (0.461 vs 0.360); सभी 11 भाषाओं में ज़्यादा करीब।
DUBBING V1 · 418 पेयर्ड डबElevenLabs से बैकग्राउंड साउंड को ज़्यादा नुकसान (11.92 vs 3.22 dB): म्यूज़िक, इफेक्ट्स, कमरे का माहौल।
DUBBING V2 (ALPHA) · 111 पेयर्ड डबFamiliar Labs से ट्रांसलेशन की बड़ी गलतियां कम (29 vs 64)
वही स्टडी · 3 भाषाएंट्रांसलेशन एडिट करना है, तो उनका पुराना मॉडल ही चलेगा।
+27.8%
Familiar Labs असली बोलने वाले के ज़्यादा करीब, सभी 11 भाषाओं में
261%
ElevenLabs में बैकग्राउंड साउंड की ज़्यादा गड़बड़ी: म्यूज़िक, माहौल
+243.7%
हंसी और रिएक्शन के अंदाज़ में Familiar Labs आगे
लिप सिंक, और उससे आगे सब कुछ
सिर्फ़ लिप सिंक
- होंठ: नए ऑडियो पर दोबारा बिठाए गए।
- आवाज़: यह इसका काम नहीं।
- बाकी चेहरा: अब भी पुरानी भाषा में।
- सीन: अछूता, या पहले ही खराब।
FAMILIAR LABS के साथ पूरा डब
- पूरा चेहरा: आंखें, भौंहें और सिर नई भाषा को निभाते हैं।
- आवाज़: बोलने वाले की अपनी।
- सीन: म्यूज़िक और हंसी बने रहते हैं, असली 5.1 या स्टीरियो में।
आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं
संदर्भ
मल्टीमोडल ट्रांसलेशन
Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन
