الملخّص
من أسّس مجال نماذج البشر السمعية البصرية المشتركة؟
لا تصمد الدبلجة إلا إذا بقي الصوت والوجه شخصًا واحدًا. باحثو Familiar حملة دكتوراه أسّسوا مجال نماذج البشر التي تولّد الصوت والصورة معًا: ورقتهم JAM-Flow، في ECCV 2026، هي أول نموذج بشري سمعي بصري مشترك، يعامل صوت الشخص المتحدث ووجهه مشكلةً واحدة.
الأوراق البحثية
22
كلٌّ منها برابطه في النظرة العامة على الأبحاث
محكَّمة
18
في ICLR وCVPR وICCV وECCV وNeurIPS وICML وACM Multimedia وWACV
الاستشهادات
أكثر من 10,000
رصيد الفريق منذ عام 2021
المستشاران
2
البروفيسور Xu Zheng والبروفيسور Youngjung Uh
يغطي العمل القطع التي تحتاجها الترجمة متعددة الوسائط: نماذج البشر السمعية البصرية المشتركة، ونماذج الفيديو السريعة، والتحرير، والإدراك متعدد الوسائط. كل ورقة ومكان نشرها في النظرة العامة على أبحاثنا. والدافع شخصي: An Zhu Liu، الرئيس التنفيذي، لم يكن يستطيع أن يكلّم زملاءه بالإنجليزية في طفولته، وتعلّمها من التلفزيون، وهي قصة تُروى في صفحة مهمتنا.
لماذا مرّت الدبلجة بأدوات منفصلة؟
لأن كل قطعة حُلّت وحدها أولًا. وصلت الدبلجة الآلية سلسلةً، وتلك السلسلة هي ما جعلها ممكنة أصلًا. لكنها رسمت حدّها أيضًا، والأدوات التي بُنيت منذ ذلك الحين ما زالت تقايض الجودة بالوقت. الأدوات المساعِدة تبلغ الجودة بفريق من فناني المؤثرات البصرية وأسابيع لكل مشروع، وكل لغة مشروع جديد. وأدوات الدفعة الواحدة سريعة وتتخلّى عن الباقي: شفاهها تخفق أمام يد على الوجه، أو ميكروفون، أو ضبابية، أو بوكيه، أو لقطة جانبية، أو عدة أشخاص في الإطار، بلا استدلال مكاني ولا فهم للعالم. أما Familiar فدفعة واحدة بالجودة كاملة.
عصر المراحل المتتالية
- التفريغ النصي، ثم الترجمة، ثم الصوت، ثم مزامنة الشفاه.
- كل أداة تخمّن من دون أن ترى البقية.
- صوت غريب فوق وجه لم يعد يطابقه.
نموذج تأسيسي واحد
- الكلمات والصوت والشفاه والمشهد، تنتقل في آن واحد.
- الترجمة تعرف الفم الذي عليها أن تطابقه.
- الصوت يعرف المشهد الذي يُسمع فيه.
- والشخص لا يتغيّر أبدًا.
المقارنة خطوةً خطوة في الترجمة السمعية البصرية في آن واحد، لا على مراحل متتالية؛ والتعريف في أول نموذج تأسيسي للترجمة متعددة الوسائط.
HeyGen
ElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROLOne shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
ماذا تعني الريادة هنا؟
ترجمة سمعية بصرية في آن واحد، لا على مراحل متتالية: الأولى من نوعها.
ثلاثة أمور، مجتمعة للمرة الأولى. أولها الصوت والصورة ينتقلان إلى اللغة الجديدة في آن واحد، عبر نموذج واحد، فتتّسق القرارات: الصوت صوت الممثل نفسه، والشفاه تتبع الكلمات الجديدة، والضحك وأصوات الجمهور والموسيقى تبقى حيث كانت.
وثانيها الترتيب. الترجمة أولًا، ثم الدبلجة دفعة واحدة: الصوت والشفاه والمشهد معًا. تُحسم الكلمات، ويراجعها مديروك الإبداعيون، قبل أن يُنطق أي شيء.
وثالثها السجلّ. كل قرار يتخذه الـMLDM يُسجَّل مع مهمة الدبلجة، ويمكنك تغيير أيٍّ منها. الرواية الكاملة في سجلّ القرارات: كيف يوجّه المديرون الإبداعيون الـMLDM؛ وما هو MLDM، في الورقة التعريفية.
ماذا يقرّر النموذج، وماذا تختار أنت؟
تصير النتيجة البحثية منتجًا حين يبقى من يستخدمونه أصحاب القرار. MLDM للعمل الرتيب. والقرارات الإبداعية تبقى لك.
ما يقرّره الـMLDM | ما تختاره أنت
ما الذي ما زال قيد التطوير؟
الريادة تعني النسخة الأولى، لا الأخيرة. خيارات الترجمة مفتوحة اليوم؛ وبقية السجلّ تُفتح على مراحل.
- اليوم
مديروك الإبداعيون يراجعون قرارات الترجمة.
الصياغات مع تعليل كلٍّ منها؛ وقائمة «لا تُترجَم» وسياق من جملة واحدة يرافقان مهمة الدبلجة. - قيد التطوير
قرارات الصوت والصورة، في المراجعة نفسها.
- قيد التطوير
النص داخل اللقطة.
شاشة هاتف، أو غلاف كتاب، أو لافتة شارع، تُكتب بالمصطلحات التي اخترتها من قبل؛ وتبقى العلامة التجارية أو الاسم كما صُوِّر، بقرار يُتخذ في حينه: كيس Tostitos يبقى Tostitos. - قيد التطوير
الدبلجة المباشرة.
ماذا يغيّر ذلك للأشخاص على الشاشة؟
الدبلجة البشرية بعيدة المنال عن معظم العالم. حتى أكبر الإنتاجات لا تدبلج إلا إلى لغات قليلة، بسبب الكلفة والكوادر والوقت الذي تستغرقه؛ والإنتاجات الأصغر والبرامج والدراما العمودية لا تُدبلج في الغالب أصلًا. والنموذج التأسيسي للترجمة متعددة الوسائط يمنح كلًّا منها الأداء نفسه بلغة أخرى: صوت الممثل وشفاهه وتعابير وجهه بـ30 لغة، تُسلَّم بدقة تصل إلى 4K مع صوت محيطي 5.1 حقيقي أو ستيريو بصيغة PCM بعمق 24 بت (المخرجات).
تبلغ الترجمة في القياس 100.3% من جودة الترجمة البشرية الخبيرة، أي أنها تعادلها؛ والدراسات في /benchmark. ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين. من إنسان إلى إنسان، ليصل الأداء إلى جمهور أوسع. وما يعنيه ذلك لمكتبة أعمال في الورقة الموجّهة إلى الاستوديوهات والمنصات.
الأسئلة
من بنى النموذج التأسيسي لدى Familiar؟
فريق من 8 أشخاص من حملة الدكتوراه أسّسوا مجال نماذج البشر التي تولّد الصوت والصورة معًا: 22 ورقة بحثية، 18 منها محكَّمة، وأكثر من 10,000 استشهاد. والبروفيسور Xu Zheng والبروفيسور Youngjung Uh مستشارا الفريق. وتحظى Familiar بدعم Samsung وRedBird وGold House.
ما النموذج التأسيسي للترجمة متعددة الوسائط؟
نموذج واحد ينقل الكلمات والصوت والشفاه والمشهد إلى لغة جديدة، كلها في آن واحد. والنموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM) من Familiar هو الأول من نوعه: يقرّر ما الذي يُوطَّن في النص والصوت والصورة، ويسجّل كل قرار مع مهمة الدبلجة.
ماذا تعني «لا على مراحل متتالية»؟
كانت الدبلجة الآلية تمرّر الفيديو عبر أدوات منفصلة: التفريغ النصي، ثم الترجمة، ثم الصوت، ثم مزامنة الشفاه، وكلٌّ منها يخمّن من دون أن يرى البقية. أما Familiar فينقل الصوت والصورة إلى اللغة الجديدة في آن واحد، فتتّسق القرارات ولا يتغيّر الشخص أبدًا.
هل Familiar ذكاء اصطناعي توليدي؟
ليس بالمعنى التقليدي. لا أوامر نصية ولا يُختلَق شيء جديد: الممثل والتوقيت والمشهد تبقى، بينما تنتقل الكلمات والصوت والشفاه إلى اللغة الجديدة. ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين.
ماذا يمكنني أن أختار اليوم؟
الترجمة. حيث يمكن أن تُفهم الجملة بأكثر من وجه، يرى مديروك الإبداعيون الصياغات مع تعليل كلٍّ منها ويختارون واحدة، قبل أن يُنطق أي شيء. أما خيارات الصوت والصورة والنص داخل اللقطة فقيد التطوير.
المراجع
الترجمة متعددة الوسائط
تبني Familiar Labs دبلجة أفضل بجيل كامل عبر نموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM)، وهو أول نموذج تأسيسي للترجمة متعددة الوسائط: نموذج واحد يقرّر ما الذي يُوطَّن في النص والصوت والصورة، ويعرض عليك الخيارات. صوتك وشفاهك، إلى لغات جديدة. فريق من 8 أشخاص من حملة الدكتوراه، بدعم من Samsung وRedBird وGold House. مهمتنا