रिसर्च

मल्टीमोडल ट्रांसलेशन के अगुआ: जॉइंट ऑडियो-विज़ुअल रिसर्च से पहले फ़ाउंडेशन मॉडल तक

FAMILIAR LABS रिसर्चअपडेट सारे लेख

सार

जिस टीम ने इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स की फील्ड शुरू की, उसी ने मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल बनाया है। Familiar Labs का मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) किसी इंसान के शब्द, आवाज़ और होंठ एक साथ 13 भाषाओं में ले जाता है, उनमें से किसी भी भाषा की फुटेज से।
मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल

इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स किसने शुरू किए?

Familiar Labs के रिसर्चर्स ने। ECCV 2026 में उनका पेपर JAM-Flow इंसान का पहला जॉइंट ऑडियो-विज़ुअल मॉडल है: बोलते हुए इंसान की आवाज़ और चेहरा, एक ही समस्या।

पेपर

22

हर एक रिसर्च ओवरव्यू में लिंक किया गया

पीयर-रिव्यूड

18

ICLR, CVPR, ICCV, ECCV, NeurIPS, ICML, ACM Multimedia और WACV में

उद्धरण

10,000 से ज़्यादा

2021 से टीम का रिकॉर्ड

सलाहकार

2

प्रो. Xu Zheng और प्रो. Youngjung Uh

हर पेपर हमारे रिसर्च ओवरव्यू में है। CEO Andrew Liu ने बचपन में टीवी देखकर अंग्रेज़ी सीखी; यह कहानी हमारे मिशन पेज पर है।

डबिंग अलग-अलग टूल्स से क्यों गुज़रती थी?

कैस्केड का दौर

  • ट्रांसक्रिप्शन, फिर ट्रांसलेशन, फिर आवाज़, फिर लिप-सिंक।
  • हर टूल बाकियों को देखे बिना अंदाज़ा लगाता है।
  • ऐसे चेहरे पर किसी अजनबी की आवाज़, जो अब मेल नहीं खाता।

एक फ़ाउंडेशन मॉडल

  • शब्द, आवाज़, होंठ और सीन, सब एक साथ।
  • इंसान कभी नहीं बदलता।

तब से बने टूल्स क्वालिटी और वक्त के बीच सौदा करते हैं। असिस्टिव टूल्स को VFX आर्टिस्ट्स की एक टीम और हर प्रोजेक्ट, हर भाषा पर कई हफ़्ते चाहिए। वन-शॉट टूल्स तेज़ हैं, पर चेहरे पर हाथ, माइक्रोफ़ोन या साइड व्यू आते ही उनके होंठ साथ छोड़ देते हैं।

++
Familiar Labs मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल, जो शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है।
HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsवन-शॉट टूल्स · कोई कंट्रोल नहीं

आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं

ट्रांसलेशन एडिट नहीं हो सकता, म्यूज़िक और माहौल गायब हो जाते हैं, आवाज़ भटक जाती है, और चेहरे पर हाथ, माइक, ब्लर, बोकेह, साइड व्यू या फ़्रेम में कई लोग हों, तो होंठ साथ छोड़ देते हैं। न स्पेशियल रीज़निंग, न दुनिया की समझ, न कोई कंट्रोल।

कदम-दर-कदम फ़र्क: ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं। परिभाषा: मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल।

यहां अगुआ होने का मतलब क्या है?

ऑडियो-विज़ुअल ट्रांसलेशन एक साथ, कैस्केड में नहीं: अपनी तरह का पहला।

  1. 01

    ऑडियो और विज़ुअल, एक साथ।

    एक ही मॉडल दोनों को ले जाता है, इसलिए फ़ैसले मेल खाते हैं: ऐक्टर की अपनी आवाज़, नए शब्दों के साथ चलते होंठ।
  2. 02

    पहले ट्रांसलेशन।

    पहले ट्रांसलेशन, फिर एक ही बार में पूरा डब: आवाज़, होंठ और सीन एक साथ। कुछ भी बोला जाने से पहले शब्द तय होते हैं, और आपके क्रिएटिव डायरेक्टर उन्हें रिव्यू करते हैं।
  3. 03

    रिकॉर्ड।

    MLFM का हर फ़ैसला जॉब के साथ दर्ज होता है, और आप कोई भी फ़ैसला बदल सकते हैं: फ़ैसलों का रिकॉर्ड। MLFM क्या है: परिभाषा वाला पेपर।

मॉडल क्या तय करता है, और आप क्या चुनते हैं?

थकाऊ काम के लिए MLFM: हर लाइन को कौन-सा वर्ज़न ले जाता है, क्या ट्रांसलेट होना ही है, कौन बोल रहा है, होंठ कैसे साथ चलते हैं। क्रिएटिव फ़ैसले आपके रहते हैं।

  1. आज

    आपके क्रिएटिव डायरेक्टर ट्रांसलेशन के फ़ैसले रिव्यू करते हैं।

    हर वर्ज़न उसकी वजह के साथ, ट्रांसलेट न करें वाली लिस्ट और एक वाक्य का कॉन्टेक्स्ट।
  2. तैयारी में

    ऑडियो और विज़ुअल फ़ैसले, उसी रिव्यू में।

  3. तैयारी में

    फ़्रेम में लिखा टेक्स्ट।

    फ़ोन स्क्रीन या सड़क का साइनबोर्ड, उन्हीं शब्दों में जो आप पहले चुन चुके हैं; Tostitos का पैकेट Tostitos ही रहता है।
  4. तैयारी में

    लाइव डबिंग।

स्क्रीन पर दिखने वाले लोगों के लिए इससे क्या बदलता है?

इंसानी डबिंग दुनिया के ज़्यादातर हिस्से के बस की बात नहीं। बड़ी प्रोडक्शंस भी लागत, लोगों और वक्त की वजह से गिनी-चुनी भाषाओं में ही डब करती हैं; वर्टिकल ड्रामा ज़्यादातर डब ही नहीं करते। अब हर एक को दूसरी भाषा में वही परफ़ॉर्मेंस मिलती है, 13 भाषाओं में, 4K तक, 24-bit PCM में असली 5.1 सराउंड या स्टीरियो मिक्स के साथ (आउटपुट)।

हर डब टोरंटो में NVIDIA B300 GPU के करोड़ों डॉलर के क्लस्टर पर प्रोसेस होता है, हमारे अपने कंप्यूट पर, कभी किसी पब्लिक क्लाउड पर नहीं (प्राइवेट इनफरेंस डॉक्स)।
प्राइवेट इनफरेंस · टोरंटो, कनाडा

ट्रांसलेशन एक्सपर्ट इंसानी ट्रांसलेशन की क्वालिटी के 100.3% पर मापा गया है, यानी बराबरी (बेंचमार्क)। 'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे। इंसान से इंसान तक, पहुंच बढ़ाते हुए। किसी कैटलॉग के लिए: स्टूडियो और प्लेटफ़ॉर्म्स वाला पेपर।

सवाल

Familiar Labs का फ़ाउंडेशन मॉडल किसने बनाया?

PhD वाली 7 लोगों की टीम, जिसने इंसानों के जॉइंट ऑडियो-विज़ुअल मॉडल्स की फील्ड शुरू की: 22 पेपर, जिनमें 18 पीयर-रिव्यूड, और 10,000 से ज़्यादा उद्धरण।

मल्टीमोडल ट्रांसलेशन का फ़ाउंडेशन मॉडल क्या है?

एक ही मॉडल, जो शब्द, आवाज़, होंठ और सीन, सब एक साथ नई भाषा में ले जाता है। Familiar Labs का मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) पहला है।

"कैस्केड में नहीं" का मतलब क्या है?

अलग-अलग टूल्स की कोई कड़ी नहीं, जिनमें हर एक बाकियों को देखे बिना अंदाज़ा लगाता है। Familiar Labs ऑडियो और विज़ुअल को एक साथ ले जाता है, इसलिए इंसान कभी नहीं बदलता।

आज मैं क्या चुन सकता हूं?

ट्रांसलेशन: कुछ भी बोला जाने से पहले आपके क्रिएटिव डायरेक्टर वर्ज़न में से चुनते हैं। ऑडियो और विज़ुअल के विकल्प तैयारी में हैं।

संदर्भ

  1. [1]JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching (ECCV 2026)
  2. [2]टीम की पब्लिश्ड रिसर्च
  3. [3]मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM)
  4. [4]फ़ैसलों का रिकॉर्ड
  5. [5]Familiar Labs बेंचमार्क
  6. [6]हमारा मिशन

मल्टीमोडल ट्रांसलेशन

Familiar Labs एक पीढ़ी आगे की डबिंग बनाता है, मल्टीमोडल लोकलाइज़ेशन फ़ाउंडेशन मॉडल (MLFM) से, जो मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल है: एक ही मॉडल तय करता है कि टेक्स्ट, ऑडियो और विज़ुअल में क्या लोकलाइज़ करना है, और फ़ैसले आपके सामने रखता है। आपकी आवाज़ और होंठ, अब नई भाषाओं में। PhD वाली 7 लोगों की टीम, जिसके पीछे Samsung, RedBird और Gold House हैं। हमारा मिशन

हमारे निवेशक

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo