हमारा मिशन

हम समझ के आड़े आने वाली हर दीवार तोड़ने के लिए हैं।

01कहानी

यह सब कहां से शुरू हुआ।

हमारे CEO, Andrew Liu, एक ऐसे स्कूल में पहुंचे जहां वे अपने क्लासमेट्स से अंग्रेज़ी में बात नहीं कर पाते थे। पूरे स्कूल में वे इकलौते एशियाई थे। उनका कोई दोस्त नहीं था। भाषा उन्होंने टीवी देखकर सीखी; स्क्रीन ही वह जगह थी जहां अंग्रेज़ी आखिरकार उन तक पहुंची। यह बात उनके मन से कभी नहीं गई।

इसीलिए Familiar Labs है: ताकि स्क्रीन पर जो चले, वह हर किसी तक उस भाषा में पहुंचे जो वह समझता है।

हम आर्टिस्ट की जगह नहीं लेते। हम उन्हें ट्रांसलेट करते हैं।

02बारीक लकीर

इंसान को बचाए रखना।

2030 तक एंटरटेनमेंट $4.2 ट्रिलियन की इंडस्ट्री होगी।

PwC, Global Entertainment & Media Outlook 2026–2030.

इसका भविष्य मास प्रोडक्शन और कला के बीच की एक बारीक लकीर पर चलता है, और Familiar Labs कला की तरफ़ खड़ा है: इंसानी परफ़ॉर्मेंस और उसमें बसी हमदर्दी को बचाए रखना।

कलाकला क्या है

मेहनत और क्रिएटिविटी, इनमें से कोई एक या दोनों।

AI अपने रास्ते पर कला बना सकता है, उस रास्ते पर जो एनिमेशन के पास पहले से है: स्क्रीन पर उतरे नॉवेल, मांगा और मनह्वा, जिनमें किसी असली एक्टर की पहचान नहीं होती। जब AI फ़ोटोरियलिज़्म के सहारे उस एक्टर की जगह लेना चाहता है जो यह रोल निभाता, तो नतीजा खोखला लगता है, क्योंकि ऑडियंस इंसान को देखने आई थी।

हम चाहते हैं कि इंसान गाएं और रैप करें।

गाना जिए हुए जीवन से निकली परफ़ॉर्मेंस है। बोल किसी और के हों, तब भी गायक उन्हें अपने ढंग से निभाता है, और हम वही महसूस करते हैं। पूरी तरह जनरेट किया गया गाना वहां ठीक है जहां कोई ध्यान से नहीं सुनता: किसी ऐड में, किसी स्टोर में बजता म्यूज़िक।
03युवा क्यों

सबसे युवा ऑडियंस असली चीज़ चाहती है।

जेन-ज़ी की पसंद अब तक की किसी भी ऑडियंस से ज़्यादा निखरी हुई है। वे क्रिएटर्स को उनकी असली पर्सनैलिटी के लिए फ़ॉलो करते हैं, और असली लोगों को देखते हैं।

स्ट्रीमर्स
स्पोर्ट्स
न्यूज़
शॉपिंग होस्ट्स

हमें इंसानी जुड़ाव चाहिए: किसी की पर्सनैलिटी, उसमें वो 'कुछ तो बात'। इंसान इंसान से हमदर्दी रखता है, और पता चलते ही कि यह AI है, हमदर्दी घट जाती है।

04कलाकार

एक्टर और गायक इंसान ही रहेंगे। काफ़ी हद तक।

दशकों बाद भी, ऐसी फ़िल्में, टीवी और म्यूज़िक जिनमें कोई इंसानी कलाकार न हो, गिनती के ही होंगे। जो आर्टिस्ट अपने रोल को जीते हैं, AI उनकी जगह क्यों लेगा?

सामने इंसान ही रहेगा
परफ़ॉर्मर वह है जिस पर हमारा ध्यान टिका हो: एक्टर, गायक, या वह गिटारिस्ट जिसका रिफ़ पूरे गाने को थामे रखता है।
पीछे का काम AI करेगा
CGI, विज़ुअल इफ़ेक्ट्स और शायद एक्स्ट्रा कलाकार भी, जब यह काम काफ़ी अच्छा होने लगे। यह प्रोडक्शन है, और इसमें कोई बुराई नहीं।
AI के साथ बनी कला
AI कुछ सचमुच शानदार काम भी करेगा, पूरी मेहनत और भरपूर क्रिएटिविटी के साथ। उसका स्वागत है।
ऐसा एक सीन
“अगर मुझे पता हो कि ये AI है, तो मैं वैसा महसूस नहीं कर पाता।”
Andrew Liu | CEO

मान लीजिए किसी दिन AI इस क्वालिटी तक पहुँच जाए। तब भी हमदर्दी की कमी रहेगी: इंसानी जुड़ाव की, और उन लोगों को सपोर्ट करने की चाह की जिन्होंने इसे बनाया।

ला ला लैंड (2016) का आख़िरी सीन, 7:47 से

हम जिसे सपोर्ट करना चुनते हैं, उसमें से ज़्यादातर अब भी इंसानी ही होगा। किसी इंसान के लिए हमारी हमदर्दी कोई पूर्वाग्रह नहीं जो वक्त के साथ मिट जाए; यही हमारे जीने, प्यार करने और भाषा बरतने का तरीका है।

05दीवार

भाषा हमेशा से लोगों के बीच की दीवार रही है।

  • माँ-बाप, जो बच्चे के टीचर से बात नहीं कर पाते।

  • एक मरीज़, जो अपनी तकलीफ़ बयान नहीं कर पाता।

  • एक गवाह, जिसकी बात कोर्ट की भाषा में समझी ही नहीं जाती।

06यह क्या है

थकाऊ काम के लिए MLFM।

मल्टीमोडल ट्रांसलेशन का पहला फ़ाउंडेशन मॉडल
  • आपकी फ़ुटेज, आपकी आवाज़, आपका चेहरा। कुछ भी नया गढ़ा नहीं जाता।
  • कोई प्रॉम्प्ट नहीं। बेतरतीब ढंग से कुछ नया नहीं बनाना।
  • जिस डेटा पर हमने ट्रेनिंग की, वह सारा असल में Familiar Labs टीम ने ही बनाया है।

एक ही मॉडल, जो टेक्स्ट, ऑडियो और विज़ुअल में तय करता है कि क्या लोकलाइज़ करना है और कैसे, और ज़रूरी फ़ैसले आपके सामने रखता है। पहले ट्रांसलेशन, फिर एक ही बार में पूरा डब: आवाज़, होंठ और सीन एक साथ। फ़ैसले आपस में मेल खाते हैं, क्योंकि उन्हें एक ही मॉडल लेता है। इंसान कभी नहीं बदलता।

'जनरेटिव AI' नहीं, बल्कि ट्रांसलेशन, जो क्रिएटर्स के हाथ मज़बूत करे।

हम क्रिएटिव प्रोसेस का एक और टूल हैं।

ट्रांसलेशन

किसी लाइन का कौन-सा वर्ज़न।

आज
  • कई वर्ज़न तौले जाते हैं; आपके क्रिएटिव डायरेक्टर उन्हें वजह के साथ देखते हैं और चुनते हैं।
  • क्या ट्रांसलेट न करें: स्लैंग जैसा बोला गया वैसा, नाम और ब्रांड वैसे के वैसे।
  • कोई रेफ़रेंस ऐसे रेफ़रेंस से बदला जाता है जिसे ऑडियंस जानती हो, जिन बातों से कल्चर बचता है उनका ध्यान, और कम उम्र वालों के कट के लिए गालियां हल्की।
ऑडियो

ट्रांसलेट करना भी है या नहीं।

आज
  • मुख्य आवाज़ पहचानी जाती है और बोलने वाले की अपनी ही आवाज़ में आगे ले जाई जाती है।
  • हंसी, भीड़, कोई चीख, कोई ऐसा बोलने वाला जिसकी बात समझ न आए: सब वैसे के वैसे।
तैयारी में
  • कोई नारा, कोई चीख, कोई फ़्रेज़ ओरिजिनल भाषा में ही रखना।
विज़ुअल

स्क्रीन पर क्या लोकलाइज़ करना है।

आज
  • असल में कौन बोल रहा है: कौन नैरेट कर रहा है, कौन स्क्रीन के बाहर से बोल रहा है।
  • होंठ, चेहरे की आड़ और स्पेशियल रीज़निंग समेत।
  • हाव-भाव और जेस्चर, जब ज़ोर या कल्चर इसकी मांग करे।
तैयारी में
  • फ़्रेम में लिखा टेक्स्ट, फ़ोन स्क्रीन, किताब का कवर, सड़क का साइनबोर्ड, दुकान का बोर्ड, उन्हीं शब्दों में जो आप पहले चुन चुके हैं।
  • क्या जैसा शूट हुआ वैसा ही रहे, यह मौके पर ही तय होता है: Tostitos का पैकेट Tostitos ही रहता है।
  • कोई लाइन किस चेहरे की है, और कौन-सा टेक्स्ट ट्रांसलेट हो।
07शुरुआत

हम वहीं से शुरू कर रहे हैं, जहाँ यह दीवार सबसे महंगी पड़ती है: वीडियो।

74%इंटरनेट यूज़र्स अंग्रेज़ी नहीं बोलते

इंसानों वाली डबिंग दुनिया के ज़्यादातर हिस्से के बस की बात नहीं: बड़ी से बड़ी प्रोडक्शंस भी गिनी-चुनी भाषाओं में ही डब करती हैं, क्योंकि इसमें पैसा, लोग और वक्त, तीनों लगते हैं। छोटी प्रोडक्शंस, शोज़ और वर्टिकल ड्रामा तो डब ही नहीं करते।

जिस कंपनी को हमारे CTO लीड करते थे, वहां सालों तक Veritasium, 3Blue1Brown और Welch Labs के इंटरनेशनल चैनल चलाकर यह साबित हो चुका है।

▚ एक ही बार में, हफ़्तों में नहीं ▞

FAMILIAR LABS · एक ही बार में
Familiar LabsFamiliar Labs
असिस्टिव विज़ुअल डबिंग · हफ़्तों में
FlawlessFlawless
वन-शॉट टूल्स · कोई कंट्रोल नहीं
HeyGenHeyGenElevenLabsElevenLabs

इंडस्ट्री आज जिन असिस्टिव टूल्स से काम लेती है, उनमें हर प्रोजेक्ट पर VFX आर्टिस्ट्स की एक टीम और कई हफ़्ते लगते हैं, और हर भाषा एक नया प्रोजेक्ट होती है।

अपलोड
FAMILIAR LABS · एक ही बार मेंएक बार अपलोड करें; हर भाषा रेंडर हो जाती है।
असिस्टिव विज़ुअल डबिंग · हफ़्तों मेंएक मास्टर और हर भाषा का अलग डब ऑडियो ट्रैक, फिर हफ़्तों का VFX काम।
वन-शॉट टूल्स · कोई कंट्रोल नहींएक बार अपलोड करें; जो निकले, वही मिलता है।बहुत खराब क्वालिटी।ट्रांसलेशन रिव्यू करने का कोई तरीका नहीं।
ट्रांसलेशन
FAMILIAR LABS · एक ही बार मेंडब बनने से पहले आपके क्रिएटिव डायरेक्टर रिव्यू करते हैं; जो लाइन एक से ज़्यादा तरह से बैठ सकती है, वह तीन वर्ज़न में लौटती है।
असिस्टिव विज़ुअल डबिंग · हफ़्तों मेंटूल चलने से पहले ही तय, आपके लाए डब ट्रैक में।
वन-शॉट टूल्स · कोई कंट्रोल नहींमौजूदा मॉडल पर Enterprise API के बाहर एडिट नहीं हो सकता; जो एडिटर एडिट कर सकता है, वह पुराने मॉडल का है, और मेंटेनेंस मोड में है।
साउंड
FAMILIAR LABS · एक ही बार मेंबोलने वाले की अपनी आवाज़; म्यूज़िक, हंसी और माहौल बरकरार।
असिस्टिव विज़ुअल डबिंग · हफ़्तों मेंआपके लाए डब ट्रैक में जो भी हो।
वन-शॉट टूल्स · कोई कंट्रोल नहींआवाज़ बोलने वाले से भटक जाती है; म्यूज़िक और माहौल गायब हो जाते हैं।
कौन बोल रहा है
FAMILIAR LABS · एक ही बार मेंमॉडल तय करता है कि स्क्रीन पर असल में कौन बोल रहा है।
असिस्टिव विज़ुअल डबिंग · हफ़्तों मेंआर्टिस्ट्स हर फ़्रेम में हर चेहरा क्रॉप करते हैं और हाथ से तय करते हैं।
वन-शॉट टूल्स · कोई कंट्रोल नहींलिप सिंक अंदाज़े से चलता है; फ़्रेम में कई लोग हों, तो गलत होंठ हिलते हैं।
मुश्किल शॉट्स
FAMILIAR LABS · एक ही बार मेंहाथ, माइक, तेज़ मूवमेंट, ब्लर, कई आवाज़ें: एक ही शॉट में, चेहरे की आड़ और स्पेशियल रीज़निंग समेत।
असिस्टिव विज़ुअल डबिंग · हफ़्तों मेंरिव्यू से पहले हर एक को हाथ से ठीक करना पड़ता है।
वन-शॉट टूल्स · कोई कंट्रोल नहींचेहरे पर हाथ, माइक, ब्लर, बोकेह, साइड व्यू: लिप सिंक टूट जाता है।

आज के वन-शॉट टूल्स बाकी सब छोड़ देते हैं: ट्रांसलेशन एडिट नहीं हो सकता, म्यूज़िक और माहौल गायब हो जाते हैं, आवाज़ भटक जाती है, और चेहरे पर हाथ, माइक, ब्लर, बोकेह, साइड व्यू या फ़्रेम में कई लोग हों, तो होंठ साथ छोड़ देते हैं। न स्पेशियल रीज़निंग, न दुनिया की समझ, न कोई कंट्रोल।

Familiar Labs बनाम Flawless TrueSync →
08हमारी भूमिका
++
इंसान से इंसान तक, पहुंच बढ़ाते हुए।

किसी इंसान ने जो परफ़ॉर्मेंस दी, हम उसे हर भाषा तक ले जाते हैं: उसकी आवाज़, उसका चेहरा, उसकी चीख़ें और फुसफुसाहटें, सब बरकरार।

हम कभी कोई इंसान जनरेट नहीं करते। हम कभी किसी एक्टर की जगह नहीं लेते।

  1. आज

    13 भाषाओं में डबिंग।

  2. तैयारी में

    लाइव प्रसारण: स्पोर्ट्स, न्यूज़, स्ट्रीम्स।

  3. आगे चलकर

    दोतरफ़ा बातचीत: मीटिंग्स में भी, आमने-सामने भी।

जो रिसर्चर नए इंसान जनरेट कर सकते थे, उन्होंने असली इंसानों को आगे ले जाना चुना।

09गाने

डबिंग, जनरेशन नहीं।

हम AI म्यूज़िक जनरेशन के ठीक उलट हैं। हम इंसानों की जगह लेने के ख़िलाफ़ हैं। AI का इस्तेमाल इसी के लिए होना चाहिए: अलग-अलग संस्कृतियों के लोग, एक ही गाने को समझते हुए।

हमारे CEO, Andrew Liu, ऑडियोफ़ाइल हैं और ख़ुद संगीतकार भी: पियानो, चेलो, बेस गिटार। उनकी मां अपने गाने उनके साथ बांटती हैं और उन्हें गाकर सुनाती हैं। थोड़ी-बहुत मंडारिन वे समझते हैं, पर गाने में शब्द हाथ से फिसल जाते हैं। हमारे माता-पिता और परिवार वालों को ऐसे गाने पसंद हैं जिन्हें हम समझ नहीं पाते, और हमें ऐसे अंग्रेज़ी गाने पसंद हैं जिन्हें वे नहीं समझ पाते। Song Dubbing दोनों तरफ़ काम करता है: उनके गाने हम तक, और हमारे गाने कोरियाई और चीनी में उन तक, ताकि वे भी समझें और सुनें। पूरी टीम को गाना और कराओके बेहद पसंद है। हम सब जो बोल सुनते हैं, उन्हें समझना चाहते हैं।

मैं ये ट्रांसलेट किए हुए गाने अपनी प्लेलिस्ट में डालना चाहता हूं।
Jaeseok Jeong | प्रिंसिपल रिसर्चर

Song Dubbingगानों की पहली सच्ची डबिंग

वही गाना जो आप जानते हैं, उसी गायक की आवाज़ में, दूसरी भाषा में। अब तक कोई गाना दूसरी भाषा तक तभी पहुंचता था जब उसे दोबारा गाया जाता, ख़ुद आर्टिस्ट, किसी दूसरे गायक या उसके लिए बनाए गए नए वोकल से; यहां कुछ भी दोबारा नहीं गाया जाता, और ओरिजिनल परफ़ॉर्मेंस ही आगे जाती है।

रिकॉर्ड लेबल्स और उनके आर्टिस्ट्स के लिए, एक-एक एल्बम करके, पूरी तरह पर्सनल सर्विस के रूप में। हर लाइन गाए जाने के लिए ट्रांसलेट होती है, उसकी मात्राएं, तुक, फ़्लो और मतलब बनाए रखते हुए, और कुछ भी रिलीज़ होने से पहले आर्टिस्ट हर भाषा के बोल को मंज़ूरी देते हैं।

10कनाडा क्यों

कनाडाई भी, ग्लोबल भी।

Familiar Labs टोरंटो में है और EU समेत दुनिया भर के दोस्तों के साथ काम करता है। हमारी जड़ें हमें हर जगह भाषा की दीवारें तोड़ने की ओर ले जाती हैं, उन भाषाओं तक भी जिन्हें कम ही लोग बोलते हैं।

आज

13 भाषाएं, किसी से भी किसी में भी।

  • अंग्रेज़ी
  • अरबी
  • इतालवी
  • कोरियाई
  • चीनी
  • जर्मन
  • जापानी
  • थाई
  • पुर्तगाली (ब्राज़ील)
  • फ़्रेंच (फ़्रांस)
  • रूसी
  • स्पेनिश (लैटिन अमेरिका)
  • हिन्दी
रोडमैप पर
क्यूबेक की फ़्रेंच।
रोडमैप पर
कनाडा के मूल निवासियों की भाषाएं।

टिमिंस, उत्तरी ओंटारियो।

हमारे CEO वहीं बड़े हुए, एक ऐसे एलिमेंट्री स्कूल में जहां श्वेत और फ़र्स्ट नेशन्स के बच्चे पढ़ते थे। उनके दोस्त मिली-जुली पृष्ठभूमि के थे या फ़र्स्ट नेशन्स से, ऐसे समुदायों से जिन्हें अक्सर नज़रअंदाज़ किया गया, और उनकी भाषाओं को भी। उत्तरी ओंटारियो मज़ेदार जगह है।

हमारा विज़न: एक ऐसी दुनिया जहाँ हर इंसान को समझा जाए।

11वैल्यूज़

हम AI स्लॉप और डीपफेक्स के खिलाफ खड़े हैं।

इंसान की तरफ़, सिंथेटिक की नहीं।

आपकी अपनी आवाज़ और चेहरा।

AI स्लॉप के खिलाफ़, सहमति के साथ।

रिप्लेस नहीं, बस ट्रांसलेशन। हर आउटपुट पर सहमति और सोर्स का रिकॉर्ड।

थ्योरी नहीं, सबूत।

ElevenLabs, YouTube और इंसानी ट्रांसलेटर्स के मुकाबले पब्लिश्ड बेंचमार्क, एक ही क्लिप्स पर।

कंट्रोल, इन-बिल्ट।

रिलीज़ से पहले रिव्यू, बाय डिफ़ॉल्ट; ब्रांड नाम और टर्म्स बिल्कुल वैसे ही रहते हैं जैसे आपने लिखे।

कोई डीपफेक नहींबस ट्रांसलेशन
▚ टीम ▞

इसे बनाने में लगी रिसर्च, मेहनत और

Andrew Liu
Andrew LiuCEOएक्सेस अप्रूवर
Jibin Song
Jibin Songचीफ़ साइंटिस्टदूसरा कुंजी संरक्षक | चेंज अप्रूवर
Mingi Kwon
Mingi KwonCTOसिक्योरिटी लीड | कुंजी संरक्षक | डिलीशन ऑफ़िसर
Google Scholar ↗
Jaeseok Jeong
Jaeseok Jeongप्रिंसिपल रिसर्चरकंटेंट हैंडलर
Google Scholar ↗
Michael Chan
Michael ChanCBOइंसिडेंट लीड
Taehwan Lee
Taehwan Leeमेंबर ऑफ़ टेक्निकल स्टाफ़
Tonghyun Lee
Tonghyun Leeमेंबर ऑफ़ टेक्निकल स्टाफ़
Prof. Xu Zheng
Prof. Xu Zhengसलाहकार
Prof. Youngjung Uh
Prof. Youngjung Uhसलाहकार
Google Scholar ↗
▚ रिसर्च ▞
जॉइंट ऑडियो-विज़ुअल जेनरेशन

आवाज़ और चेहरा एक ही मॉडल से, ताकि पहचान कभी न बंटे: यह फील्ड हमने JAM-Flow से शुरू की।

रीयल-टाइम ह्यूमन एनिमेशन

आज के सबसे हूबहू रीयल-टाइम इंसान: SoulX-LiveAct किसी इंसान को 20 फ्रेम प्रति सेकंड पर एनिमेट करता है, और वह घंटे भर स्टेबल रहता है।

तेज़ वीडियो जेनरेशन

डिस्टिलेशन, गाइडेंस और सैंपलिंग: वह रिसर्च जो डिफ्यूज़न मॉडल्स को इतना तेज़ बना देती है कि वे रीयल-टाइम में चल सकें।

डिफ्यूज़न मॉडल्स के अंदर एडिटिंग

फ्रोज़न डिफ्यूज़न मॉडल्स के अंदर एडिटिंग: h-space खोज निकालने से लेकर स्टाइल कंट्रोल और स्क्रीन पर लिखा टेक्स्ट हटाने तक।

मल्टीमोडल परसेप्शन

एडिट करने से पहले सीन को पढ़ना: विज़ुअल और ऑडियो दोनों मिलाकर यह पहचानना कि बोल कौन रहा है, चाहे माहौल कोई भी हो।

2021 से अब तक 10,000 से ज़्यादा उद्धरण, और ICLR, NeurIPS, CVPR, ECCV समेत कई सम्मेलनों में 100 से ज़्यादा पेपर।

हमारे निवेशक

  • Wheelhouse
  • Maximum Effort
  • Stanford
  • Yonsei
  • University of Waterloo