دليل

الترجمة السمعية البصرية في آن واحد، لا على مراحل متتالية

أبحاث FAMILIARكل المقالات

الملخّص

ترجمة سمعية بصرية في آن واحد، لا على مراحل متتالية: الأولى من نوعها. Familiar أول نموذج تأسيسي للترجمة متعددة الوسائط: نموذج واحد ينقل الكلمات والصوت والشفاه والمشهد إلى لغة جديدة، كلها في آن واحد. كانت الدبلجة الآلية تمرّر الفيديو عبر أدوات منفصلة، تُضبط كلٌّ منها وحدها. وحين يتخذ نموذج واحد كل القرارات معًا، تعرف الترجمة الفم الذي عليها أن تطابقه، ويعرف الصوت المشهد الذي يُسمع فيه، ولا يتغيّر الشخص أبدًا. وتبلغ الترجمة 100.3% من جودة الترجمة البشرية الخبيرة، أي أنها تعادلها.
أول نموذج تأسيسي للترجمة متعددة الوسائط

ما عصر المراحل المتتالية في الدبلجة الآلية؟

بدأت الدبلجة الآلية مراحل متتالية: أربع أدوات متعاقبة، كلٌّ منها بُنيت وضُبطت وحدها، وكلٌّ منها تسلّم نتيجتها إلى التي تليها.

  1. 01

    التفريغ النصي.

    تحويل الكلام إلى نص يدوّن ما قيل.
  2. 02

    الترجمة.

    نموذج نصي يصوغ التفريغ باللغة الجديدة، من دون أن يسمع الصوت أو يرى الوجه.
  3. 03

    الصوت.

    تحويل النص إلى كلام يقرأ الترجمة بصوت عالٍ، وكثيرًا ما يكون صوتًا غريبًا.
  4. 04

    مزامنة الشفاه.

    أداة منفصلة تحرّك الفم على الصوت الجديد، بعد أن تُثبَّت كل كلمة.

تلك السلسلة جعلت الدبلجة الآلية ممكنة. لكن حدّها كامن في شكلها: كل مرحلة تخمّن من دون أن ترى البقية. لا تستطيع الترجمة أن تعرف أن الجملة يجب أن تناسب فمًا مغلقًا، ولا يستطيع الصوت أن يعرف المكان الذي يُسمع فيه. والكلمة المسموعة خطأً أو الجملة التي تطول أكثر من اللازم تنتقل إلى ما بعدها، فيتراكم الخطأ في كل مرحلة تليها.

تحسّنت كل أداة على مرّ السنين: تفريغ أنظف، وترجمة أدقّ، وصوت أكثر طبيعية. لكن الدبلجة النهائية تحسّنت ببطء أكبر، لأن مواضع الوصل بين الأدوات بقيت حيث هي.

ماذا يجد المشتري اليوم؟

عمليًا، تصل المراحل المتتالية على شكل مجموعة من الأدوات: تفريغ من أداة، وترجمة من ثانية، وصوت من ثالثة، ومزامنة شفاه وترجمة مصاحبة من رابعة. وإصلاح جملة واحدة يعني إعادة تشغيل كل مرحلة بعدها، وعلى أحد أفراد فريقك أن يُبقي الملفات متماسكة. أما الأدوات التي تتجاوز هذه المجموعة فتقايض الجودة بالوقت. الأدوات المساعِدة تبلغ الجودة بفريق من فناني المؤثرات البصرية يعمل على اللقطات الصعبة: أسابيع لكل مشروع، وكل لغة مشروع جديد. وأدوات الدفعة الواحدة سريعة وتتخلّى عن الباقي: الصوت ينحرف عن صاحبه، وأجواء المكان تختفي، والشفاه تخفق أمام يد على الوجه، أو ميكروفون، أو ضبابية، أو بوكيه، أو لقطة جانبية، أو عدة أشخاص في الإطار، بلا استدلال مكاني ولا فهم للعالم. أما Familiar فدفعة واحدة بالجودة كاملة.

والطريق الآخر هو الدبلجة البشرية الكاملة، ترجمةً وصوتًا، بكلفة $70–150 للدقيقة النهائية. الكلفة والكوادر والوقت تجعلها بعيدة المنال عن معظم العالم: حتى أكبر الإنتاجات لا تدبلج إلا إلى لغات قليلة، والإنتاجات الأصغر والبرامج والدراما العمودية لا تُدبلج في الغالب أصلًا.

HeyGenHeyGenElevenLabsElevenLabsHeyGen + ElevenLabsONE-SHOT TOOLS · NO CONTROL

One shot today means giving up the rest.

The one-shot tools today give up the rest: the translation cannot be edited, the music and the room drop out, the voice drifts, and the lips fail on a hand over the face, a microphone, blur, bokeh, a side view or several people in frame. No spatial reasoning, no understanding of the world, no control. ElevenLabs' current Dubbing v2 edits only through an Enterprise API, and its full editor is the older model, in maintenance mode; HeyGen stitches a lip-sync over a dub like that, and the lip-sync breaks on the ordinary shots of any episode. Familiar is one shot and the quality: translation first, reviewed; then the voice, the lips and the scene together, through the hard shots.

54.7%

FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2

270%

ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER

إن كنت تفكّر في ElevenLabs Dubbing، فهذه وثائقهم، مقتبسة كما هي، إلى جانب دراستنا:

ElevenLabsElevenLabsElevenLabsTHEIR DOCS, READ OCTOBER 30, 2026

Editing the translation means their old model.

On ElevenLabs' current Dubbing v2, in alpha, editing the translation and regenerating the audio through the API is for their Enterprise plans only. Their full editor, Dubbing Studio, is "only available via the v1 model" and "in maintenance mode", in their words. Dubbing v1 is the model our 418-pair study measured, and its output is mono.

+27.8%

FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES

261%

ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE

+243.7%

FAMILIAR ON LAUGHTER AND REACTION SHAPE

ELEVENLABS DUBBING V1 · 418 PAIRED OUTPUTS · 11 LANGUAGES · AUGUST 5, 2026Read the study Their docs

ما الذي يتغيّر حين يتخذ نموذج واحد كل القرارات؟

تدبلج Familiar بنموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM). يقرّر MLDM ما الذي يُوطَّن وكيف، في النص والصوت والصورة، والقرارات متّسقة لأن نموذجًا واحدًا يتخذها. التعريف في أول نموذج تأسيسي للترجمة متعددة الوسائط.

على مراحل متتالية

  • أربع أدوات، تُضبط كلٌّ منها وحدها.
  • الترجمة تُثبَّت قبل أن يسمع أحد الصوت.
  • كل مرحلة تخمّن من دون أن ترى البقية، فتتراكم الأخطاء.
  • قد يقع صوت غريب على وجه لا يطابقه.

في آن واحد، الأول من نوعه

  • نموذج واحد يتخذ كل القرارات معًا.
  • الترجمة تعرف الفم الذي عليها أن تطابقه.
  • الصوت يعرف المشهد الذي يُسمع فيه.
  • والشخص لا يتغيّر أبدًا.

ما يعود إليك هو أداء الممثل نفسه بلغة أخرى: صوته، وشفاهه، وتعابير وجهه، وصوت المشهد، تنتقل كلها معًا. ورفعة واحدة تخرج بكل اللغات في آن واحد: دبلجة إلى 30 لغة، من مواد مصوَّرة بأيٍّ من 99 لغة مصدر.

واتخاذ القرارات معًا يغيّر أيضًا ما يمكن أن يخطئ. الجملة التي كانت ستطول تُصاغ لتناسب الوقت والفم قبل أن يُصنع أي صوت. والضحكة في منتصف الجملة تبقى ضحكة. وحين يتكلم شخصان في وقت واحد، يعرف النموذج من يقول أيّ جملة، فتتحرك الشفاه الصحيحة.

ماذا يغيّر ذلك في الدبلجة النهائية؟

نمرّر المقاطع نفسها عبر النظامين ونقيّمها بالطريقة نفسها. كل رقم يأتي من دراسته الخاصة، المنشورة في الاختبار المقارن.

100.3%

من جودة الترجمة البشرية الخبيرة لدى Familiar: أي أنها تعادلها

الفرنسية، الصينية، الهندية، الإندونيسية (المسودة الأولى لمترجمين محترفين خبراء)
54.7%

أخطاء مهمة في الترجمة أقل لدى Familiar (29 مقابل 64)

مقابل ELEVENLABS DUBBING V2 (ALPHA) · 3 لغات
270%

أخطاء أكثر في صوت الخلفية لدى ElevenLabs (11.92 مقابل 3.22 ديسيبل)

مقابل أحدث منتجاتهم DUBBING V2 (ALPHA) · 111 دبلجة متقابلة · الموسيقى والمؤثرات وأجواء المكان

والصوت يُقاس أيضًا: يبدو صوت Familiar أقرب إلى المتحدث الحقيقي بنسبة 27.8% من ElevenLabs Dubbing v1، أقرب في اللغات الـ11 كلها، في الدراسة المقتبسة أعلاه.

وسجّلت الدبلجة التلقائية في YouTube أخطاء في صوت الخلفية أكثر بنسبة 232.6% في دراستها الخاصة. ويبقى المشهد لأن الـMLDM يسمع كل ما في المسار الصوتي، الضحك وأصوات الجمهور والموسيقى، فيحدّد الصوت الرئيسي، وينقله إلى اللغة الجديدة بصوت المتحدث نفسه، ويُبقي الباقي كما كان.

ماذا تعني «الترجمة أولًا، ثم الدبلجة دفعة واحدة»؟

++
الترجمة أولًا، ثم الدبلجة دفعة واحدة: الصوت والشفاه والمشهد معًا.

الترتيب مهم. الترجمة تأتي أولًا، ويراجعها مديروك الإبداعيون: حيث يمكن أن تُفهم الجملة بأكثر من وجه، يرون الصياغات مع تعليل كلٍّ منها ويختارون واحدة. وبعد ذلك فقط تُصنع الدبلجة، مرة واحدة. لا يُختلَق شيء جديد. ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين. MLDM للعمل الرتيب.

الصورة

حتى 4K

الصوت

5.1 حقيقي أو ستيريو

WAV بصيغة PCM بعمق 24 بت · بحسب اختيارك

الترجمة المصاحبة

.srt و.vtt

وفق أعراف Netflix للنصوص المؤقّتة

المعالجة

تورونتو، كندا

مجموعتنا الخاصة من NVIDIA B300

الترجمة المصاحبة مقطّعة وفق أعراف دليل Netflix لأسلوب النصوص المؤقّتة، معيار قوالب الترجمة المصاحبة الذي يعمل به القطاع. وكل دبلجة تُعالَج على مجموعة Familiar الخاصة من وحدات معالجة رسومات NVIDIA B300، بقيمة عشرات الملايين من الدولارات، في تورونتو بكندا، لا على سحابة عامة مثل Google Cloud أو AWS أبدًا، ولا لدى مزوّد خارجي لتشغيل نماذج الذكاء الاصطناعي أبدًا. الملفات في وثائق المخرجات، والمعالجة في المعالجة الخاصة، وما يعنيه ذلك لمكتبة أعمال في ماذا يعني النموذج التأسيسي للترجمة متعددة الوسائط للاستوديوهات والمنصات.

من يتخذ القرار الأخير؟

كل قرار يُسجَّل مع مهمة الدبلجة. ويمكنك تغيير أيٍّ منها.

  1. اليوم

    مديروك الإبداعيون يراجعون قرارات الترجمة.

    الصياغات مع تعليل كلٍّ منها؛ يختارون واحدة قبل أن يُنشر أي شيء.
  2. اليوم

    قائمة «لا تُترجَم» وسياق من جملة واحدة يرافقان مهمة الدبلجة.

  3. قيد التطوير

    قرارات الصوت والصورة، في المراجعة نفسها.

    ما يبقى بلغته الأصلية، ووجه آخر حين يخطئ النموذج في تحديد المتحدث، والنص داخل اللقطة.

ما يتغيّر لمكتبة الأعمال هو الوصول. برنامج كان سيبقى بلغة واحدة يمكن أن يصدر بـ30 لغة في آن واحد، حاملًا أداء ممثليه أنفسهم، بينما يبقى فريقك صاحب كل قرار مهم.

هذا هو سجلّ القرارات؛ والقصة الكاملة في سجلّ القرارات: كيف يوجّه المديرون الإبداعيون الـMLDM، وما يقرّره النموذج في ما هو MLDM؟. والبحث الذي يقف وراءه في ريادة الترجمة متعددة الوسائط. من إنسان إلى إنسان، ليصل الأداء إلى جمهور أوسع.

الأسئلة

ماذا تعني «لا على مراحل متتالية» في الدبلجة؟

كانت الدبلجة الآلية تمرّ عبر أدوات منفصلة متعاقبة: التفريغ النصي، والترجمة، والصوت، ومزامنة الشفاه. كلٌّ منها يُضبط وحده ويخمّن من دون أن يرى البقية. أما «لا على مراحل متتالية» فتعني أن نموذجًا واحدًا يتخذ كل القرارات معًا، فتتّسق الترجمة والصوت والشفاه والمشهد.

هل تُراجَع الترجمة قبل صنع الدبلجة؟

نعم. الترجمة أولًا. حيث يمكن أن تُفهم الجملة بأكثر من وجه، يرى مديروك الإبداعيون الصياغات مع تعليل كلٍّ منها ويختارون واحدة. ثم تُصنع الدبلجة دفعة واحدة: الصوت والشفاه والمشهد معًا.

هل هذا ذكاء اصطناعي توليدي؟

ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين. لا أوامر نصية، ولا يُختلَق شيء جديد. الممثل والتوقيت والمشهد تبقى؛ والكلمات والمسار الصوتي والشفاه تتغيّر لتناسب اللغة الجديدة.

هل يمكنني اختيار قرارات الصوت والصورة؟

خيارات الترجمة بيدك اليوم. أما خيارات الصوت، كاختيار ما يبقى بلغته الأصلية، وخيارات الصورة، كاختيار وجه آخر حين يخطئ النموذج في تحديد المتحدث أو النص داخل اللقطة، فقيد التطوير.

أين تُعالَج موادي المصوَّرة؟

على مجموعة Familiar الخاصة من وحدات معالجة رسومات NVIDIA B300، بقيمة عشرات الملايين من الدولارات، في تورونتو بكندا. لا على سحابة عامة مثل Google Cloud أو AWS أبدًا، ولا لدى مزوّد خارجي لتشغيل نماذج الذكاء الاصطناعي أبدًا.

من يبني Familiar؟

حملة دكتوراه أسّسوا مجال نماذج البشر التي تولّد الصوت والصورة معًا: 22 ورقة بحثية وأكثر من 10,000 استشهاد، والبروفيسور Xu Zheng والبروفيسور Youngjung Uh مستشاران. وتحظى Familiar بدعم Samsung وRedBird وGold House.

المراجع

  1. [1]دراسات الاختبار المقارن من Familiar
  2. [2]ElevenLabs، وثائق Dubbing، قُرئت في 30 أكتوبر 2026
  3. [3]Netflix، دليل أسلوب النصوص المؤقّتة: قوالب الترجمة المصاحبة، قُرئ في 30 أكتوبر 2026
  4. [4]الأوراق البحثية لفريق Familiar
  5. [5]المعالجة الخاصة
  6. [6]مهمتنا

الترجمة متعددة الوسائط

تبني Familiar Labs دبلجة أفضل بجيل كامل عبر نموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM)، وهو أول نموذج تأسيسي للترجمة متعددة الوسائط: نموذج واحد يقرّر ما الذي يُوطَّن في النص والصوت والصورة، ويعرض عليك الخيارات. صوتك وشفاهك، إلى لغات جديدة. فريق من 8 أشخاص من حملة الدكتوراه، بدعم من Samsung وRedBird وGold House. مهمتنا