सार
इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स किसने शुरू किए?
Familiar Labs के रिसर्चर्स ने। ECCV 2026 में उनका पेपर JAM-Flow इंसान का पहला जॉइंट ऑडियो-विज़ुअल मॉडल है: बोलते हुए इंसान की आवाज़ और चेहरा, एक ही समस्या।
पेपर
22
हर एक रिसर्च ओवरव्यू में लिंक किया गया
पीयर-रिव्यूड
18
ICLR, CVPR, ICCV, ECCV, NeurIPS, ICML, ACM Multimedia और WACV में
उद्धरण
10,000 से ज़्यादा
2021 से टीम का रिकॉर्ड
सलाहकार
2
प्रो. Xu Zheng और प्रो. Youngjung Uh
हर पेपर हमारे रिसर्च ओवरव्यू में है। CEO Andrew Liu ने बचपन में टीवी देखकर अंग्रेज़ी सीखी; यह कहानी हमारे मिशन पेज पर है।
डबिंग अलग-अलग टूल्स से क्यों गुज़रती थी?
कैस्केड का दौर
- ट्रांसक्रिप्शन, फिर ट्रांसलेशन, फिर आवाज़, फिर लिप-सिंक।
- हर टूल बाकियों को देखे बिना अंदाज़ा लगाता है।
- ऐसे चेहरे पर किसी अजनबी की आवाज़, जो अब मेल नहीं खाता।
एक फ़ाउंडेशन मॉडल
- शब्द, आवाज़, होंठ और सीन, सब एक साथ।
- इंसान कभी नहीं बदलता।
तब से बने टूल्स क्वालिटी और वक्त के बीच सौदा करते हैं। असिस्टिव टूल्स को VFX आर्टिस्ट्स की एक टीम और हर प्रोजेक्ट, हर भाषा पर कई हफ़्ते चाहिए। वन-शॉट टूल्स तेज़ हैं, पर चेहरे पर हाथ, माइक्रोफ़ोन या साइड व्यू आते ही उनके होंठ साथ छोड़ देते हैं।
आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं
कदम-दर-कदम फ़र्क: ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं। परिभाषा: मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल।
यहां अगुआ होने का मतलब क्या है?
ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं: अपनी तरह का पहला।
- 01
ऑडियो और विज़ुअल, एक साथ।
एक ही मॉडल दोनों को ले जाता है, इसलिए फ़ैसले मेल खाते हैं: ऐक्टर की अपनी आवाज़, नए शब्दों के साथ चलते होंठ। - 02
पहले ट्रांसलेशन।
पहले ट्रांसलेशन, फिर एक ही बार में पूरा डब: आवाज़, होंठ और सीन एक साथ। कुछ भी बोला जाने से पहले शब्द तय होते हैं, और आपके क्रिएटिव डायरेक्टर उन्हें रिव्यू करते हैं। - 03
रिकॉर्ड।
MLFM का हर फ़ैसला जॉब के साथ दर्ज होता है, और आप कोई भी फ़ैसला बदल सकते हैं: फ़ैसलों का रिकॉर्ड। MLFM क्या है: परिभाषा वाला पेपर।
मॉडल क्या तय करता है, और आप क्या चुनते हैं?
थकाऊ काम के लिए MLFM: हर लाइन को कौन-सा वर्ज़न ले जाता है, क्या ट्रांसलेट होना ही है, कौन बोल रहा है, होंठ कैसे साथ चलते हैं। क्रिएटिव फ़ैसले आपके रहते हैं।
- आज
आपके क्रिएटिव डायरेक्टर ट्रांसलेशन के फ़ैसले रिव्यू करते हैं।
हर वर्ज़न उसकी वजह के साथ, ट्रांसलेट न करें वाली लिस्ट और एक वाक्य का कॉन्टेक्स्ट। - तैयारी में
ऑडियो और विज़ुअल फ़ैसले, उसी रिव्यू में।
- तैयारी में
फ़्रेम में लिखा टेक्स्ट।
फ़ोन स्क्रीन या सड़क का साइनबोर्ड, उन्हीं शब्दों में जो आप पहले चुन चुके हैं; Tostitos का पैकेट Tostitos ही रहता है। - तैयारी में
लाइव डबिंग।
स्क्रीन पर दिखने वाले लोगों के लिए इससे क्या बदलता है?
इंसानी डबिंग दुनिया के ज़्यादातर हिस्से के बस की बात नहीं। बड़ी प्रोडक्शंस भी लागत, लोगों और वक्त की वजह से गिनी-चुनी भाषाओं में ही डब करती हैं; वर्टिकल ड्रामा ज़्यादातर डब ही नहीं करते। अब हर एक को दूसरी भाषा में वही परफ़ॉर्मेंस मिलती है, 13 भाषाओं में, 4K तक, 24-bit PCM में असली 5.1 सराउंड या स्टीरियो मिक्स के साथ (आउटपुट)।
ट्रांसलेशन एक्सपर्ट इंसानी ट्रांसलेशन की क्वालिटी के 100.3% पर मापा गया है, यानी बराबरी (बेंचमार्क)। 'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। इंसान से इंसान तक, पहुंच बढ़ाते हुए। किसी कैटलॉग के लिए: स्टूडियो और प्लेटफ़ॉर्म्स वाला पेपर।
सवाल
Familiar Labs का फ़ाउंडेशन मॉडल किसने बनाया?
PhD वाली 7 लोगों की टीम, जिसने इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स की फील्ड शुरू की: 22 पेपर, जिनमें 18 पीयर-रिव्यूड, और 10,000 से ज़्यादा उद्धरण।
मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल क्या है?
एक ही मॉडल, जो शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है। Familiar Labs का मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) पहला है।
"कैस्केड में नहीं" का मतलब क्या है?
अलग-अलग टूल्स की कोई कड़ी नहीं, जिनमें हर एक बाकियों को देखे बिना अंदाज़ा लगाता है। Familiar Labs ऑडियो और विज़ुअल को एक साथ ले जाता है, इसलिए इंसान कभी नहीं बदलता।
आज मैं क्या चुन सकता हूं?
ट्रांसलेशन: कुछ भी बोला जाने से पहले आपके क्रिएटिव डायरेक्टर वर्ज़न में से चुनते हैं। ऑडियो और विज़ुअल के विकल्प तैयारी में हैं।
संदर्भ
मल्टीमोडल ट्रांसलेशन
Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन
हमारे निवेशक
Stanford
Yonsei


