الملخّص
ما عصر المراحل المتتالية في الدبلجة الآلية؟
بدأت الدبلجة الآلية مراحل متتالية: أربع أدوات متعاقبة، كلٌّ منها بُنيت وضُبطت وحدها، وكلٌّ منها تسلّم نتيجتها إلى التي تليها.
- 01
التفريغ النصي.
تحويل الكلام إلى نص يدوّن ما قيل. - 02
الترجمة.
نموذج نصي يصوغ التفريغ باللغة الجديدة، من دون أن يسمع الصوت أو يرى الوجه. - 03
الصوت.
تحويل النص إلى كلام يقرأ الترجمة بصوت عالٍ، وكثيرًا ما يكون صوتًا غريبًا. - 04
مزامنة الشفاه.
أداة منفصلة تحرّك الفم على الصوت الجديد، بعد أن تُثبَّت كل كلمة.
تلك السلسلة جعلت الدبلجة الآلية ممكنة. لكن حدّها كامن في شكلها: كل مرحلة تخمّن من دون أن ترى البقية. لا تستطيع الترجمة أن تعرف أن الجملة يجب أن تناسب فمًا مغلقًا، ولا يستطيع الصوت أن يعرف المكان الذي يُسمع فيه. والكلمة المسموعة خطأً أو الجملة التي تطول أكثر من اللازم تنتقل إلى ما بعدها، فيتراكم الخطأ في كل مرحلة تليها.
تحسّنت كل أداة على مرّ السنين: تفريغ أنظف، وترجمة أدقّ، وصوت أكثر طبيعية. لكن الدبلجة النهائية تحسّنت ببطء أكبر، لأن مواضع الوصل بين الأدوات بقيت حيث هي.
ماذا يجد المشتري اليوم؟
عمليًا، تصل المراحل المتتالية على شكل مجموعة من الأدوات: تفريغ من أداة، وترجمة من ثانية، وصوت من ثالثة، ومزامنة شفاه وترجمة مصاحبة من رابعة. وإصلاح جملة واحدة يعني إعادة تشغيل كل مرحلة بعدها، وعلى أحد أفراد فريقك أن يُبقي الملفات متماسكة. أما الأدوات التي تتجاوز هذه المجموعة فتقايض الجودة بالوقت. الأدوات المساعِدة تبلغ الجودة بفريق من فناني المؤثرات البصرية يعمل على اللقطات الصعبة: أسابيع لكل مشروع، وكل لغة مشروع جديد. وأدوات الدفعة الواحدة سريعة وتتخلّى عن الباقي: الصوت ينحرف عن صاحبه، وأجواء المكان تختفي، والشفاه تخفق أمام يد على الوجه، أو ميكروفون، أو ضبابية، أو بوكيه، أو لقطة جانبية، أو عدة أشخاص في الإطار، بلا استدلال مكاني ولا فهم للعالم. أما Familiar فدفعة واحدة بالجودة كاملة.
والطريق الآخر هو الدبلجة البشرية الكاملة، ترجمةً وصوتًا، بكلفة $70–150 للدقيقة النهائية. الكلفة والكوادر والوقت تجعلها بعيدة المنال عن معظم العالم: حتى أكبر الإنتاجات لا تدبلج إلا إلى لغات قليلة، والإنتاجات الأصغر والبرامج والدراما العمودية لا تُدبلج في الغالب أصلًا.
One shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
إن كنت تفكّر في ElevenLabs Dubbing، فهذه وثائقهم، مقتبسة كما هي، إلى جانب دراستنا:
Editing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
ما الذي يتغيّر حين يتخذ نموذج واحد كل القرارات؟
تدبلج Familiar بنموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM). يقرّر MLDM ما الذي يُوطَّن وكيف، في النص والصوت والصورة، والقرارات متّسقة لأن نموذجًا واحدًا يتخذها. التعريف في أول نموذج تأسيسي للترجمة متعددة الوسائط.
على مراحل متتالية
- أربع أدوات، تُضبط كلٌّ منها وحدها.
- الترجمة تُثبَّت قبل أن يسمع أحد الصوت.
- كل مرحلة تخمّن من دون أن ترى البقية، فتتراكم الأخطاء.
- قد يقع صوت غريب على وجه لا يطابقه.
في آن واحد، الأول من نوعه
- نموذج واحد يتخذ كل القرارات معًا.
- الترجمة تعرف الفم الذي عليها أن تطابقه.
- الصوت يعرف المشهد الذي يُسمع فيه.
- والشخص لا يتغيّر أبدًا.
ما يعود إليك هو أداء الممثل نفسه بلغة أخرى: صوته، وشفاهه، وتعابير وجهه، وصوت المشهد، تنتقل كلها معًا. ورفعة واحدة تخرج بكل اللغات في آن واحد: دبلجة إلى 30 لغة، من مواد مصوَّرة بأيٍّ من 99 لغة مصدر.
واتخاذ القرارات معًا يغيّر أيضًا ما يمكن أن يخطئ. الجملة التي كانت ستطول تُصاغ لتناسب الوقت والفم قبل أن يُصنع أي صوت. والضحكة في منتصف الجملة تبقى ضحكة. وحين يتكلم شخصان في وقت واحد، يعرف النموذج من يقول أيّ جملة، فتتحرك الشفاه الصحيحة.
ماذا يغيّر ذلك في الدبلجة النهائية؟
نمرّر المقاطع نفسها عبر النظامين ونقيّمها بالطريقة نفسها. كل رقم يأتي من دراسته الخاصة، المنشورة في الاختبار المقارن.
من جودة الترجمة البشرية الخبيرة لدى Familiar: أي أنها تعادلها
الفرنسية، الصينية، الهندية، الإندونيسية (المسودة الأولى لمترجمين محترفين خبراء)أخطاء مهمة في الترجمة أقل لدى Familiar (29 مقابل 64)
مقابل ELEVENLABS DUBBING V2 (ALPHA) · 3 لغاتأخطاء أكثر في صوت الخلفية لدى ElevenLabs (11.92 مقابل 3.22 ديسيبل)
مقابل أحدث منتجاتهم DUBBING V2 (ALPHA) · 111 دبلجة متقابلة · الموسيقى والمؤثرات وأجواء المكانوالصوت يُقاس أيضًا: يبدو صوت Familiar أقرب إلى المتحدث الحقيقي بنسبة 27.8% من ElevenLabs Dubbing v1، أقرب في اللغات الـ11 كلها، في الدراسة المقتبسة أعلاه.
وسجّلت الدبلجة التلقائية في YouTube أخطاء في صوت الخلفية أكثر بنسبة 232.6% في دراستها الخاصة. ويبقى المشهد لأن الـMLDM يسمع كل ما في المسار الصوتي، الضحك وأصوات الجمهور والموسيقى، فيحدّد الصوت الرئيسي، وينقله إلى اللغة الجديدة بصوت المتحدث نفسه، ويُبقي الباقي كما كان.
ماذا تعني «الترجمة أولًا، ثم الدبلجة دفعة واحدة»؟
الترتيب مهم. الترجمة تأتي أولًا، ويراجعها مديروك الإبداعيون: حيث يمكن أن تُفهم الجملة بأكثر من وجه، يرون الصياغات مع تعليل كلٍّ منها ويختارون واحدة. وبعد ذلك فقط تُصنع الدبلجة، مرة واحدة. لا يُختلَق شيء جديد. ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين. MLDM للعمل الرتيب.
الصورة
حتى 4K
الصوت
5.1 حقيقي أو ستيريو
WAV بصيغة PCM بعمق 24 بت · بحسب اختيارك
الترجمة المصاحبة
.srt و.vtt
وفق أعراف Netflix للنصوص المؤقّتة
المعالجة
تورونتو، كندا
مجموعتنا الخاصة من NVIDIA B300
الترجمة المصاحبة مقطّعة وفق أعراف دليل Netflix لأسلوب النصوص المؤقّتة، معيار قوالب الترجمة المصاحبة الذي يعمل به القطاع. وكل دبلجة تُعالَج على مجموعة Familiar الخاصة من وحدات معالجة رسومات NVIDIA B300، بقيمة عشرات الملايين من الدولارات، في تورونتو بكندا، لا على سحابة عامة مثل Google Cloud أو AWS أبدًا، ولا لدى مزوّد خارجي لتشغيل نماذج الذكاء الاصطناعي أبدًا. الملفات في وثائق المخرجات، والمعالجة في المعالجة الخاصة، وما يعنيه ذلك لمكتبة أعمال في ماذا يعني النموذج التأسيسي للترجمة متعددة الوسائط للاستوديوهات والمنصات.
من يتخذ القرار الأخير؟
كل قرار يُسجَّل مع مهمة الدبلجة. ويمكنك تغيير أيٍّ منها.
- اليوم
مديروك الإبداعيون يراجعون قرارات الترجمة.
الصياغات مع تعليل كلٍّ منها؛ يختارون واحدة قبل أن يُنشر أي شيء. - اليوم
قائمة «لا تُترجَم» وسياق من جملة واحدة يرافقان مهمة الدبلجة.
- قيد التطوير
قرارات الصوت والصورة، في المراجعة نفسها.
ما يبقى بلغته الأصلية، ووجه آخر حين يخطئ النموذج في تحديد المتحدث، والنص داخل اللقطة.
ما يتغيّر لمكتبة الأعمال هو الوصول. برنامج كان سيبقى بلغة واحدة يمكن أن يصدر بـ30 لغة في آن واحد، حاملًا أداء ممثليه أنفسهم، بينما يبقى فريقك صاحب كل قرار مهم.
هذا هو سجلّ القرارات؛ والقصة الكاملة في سجلّ القرارات: كيف يوجّه المديرون الإبداعيون الـMLDM، وما يقرّره النموذج في ما هو MLDM؟. والبحث الذي يقف وراءه في ريادة الترجمة متعددة الوسائط. من إنسان إلى إنسان، ليصل الأداء إلى جمهور أوسع.
الأسئلة
ماذا تعني «لا على مراحل متتالية» في الدبلجة؟
كانت الدبلجة الآلية تمرّ عبر أدوات منفصلة متعاقبة: التفريغ النصي، والترجمة، والصوت، ومزامنة الشفاه. كلٌّ منها يُضبط وحده ويخمّن من دون أن يرى البقية. أما «لا على مراحل متتالية» فتعني أن نموذجًا واحدًا يتخذ كل القرارات معًا، فتتّسق الترجمة والصوت والشفاه والمشهد.
هل تُراجَع الترجمة قبل صنع الدبلجة؟
نعم. الترجمة أولًا. حيث يمكن أن تُفهم الجملة بأكثر من وجه، يرى مديروك الإبداعيون الصياغات مع تعليل كلٍّ منها ويختارون واحدة. ثم تُصنع الدبلجة دفعة واحدة: الصوت والشفاه والمشهد معًا.
هل هذا ذكاء اصطناعي توليدي؟
ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين. لا أوامر نصية، ولا يُختلَق شيء جديد. الممثل والتوقيت والمشهد تبقى؛ والكلمات والمسار الصوتي والشفاه تتغيّر لتناسب اللغة الجديدة.
هل يمكنني اختيار قرارات الصوت والصورة؟
خيارات الترجمة بيدك اليوم. أما خيارات الصوت، كاختيار ما يبقى بلغته الأصلية، وخيارات الصورة، كاختيار وجه آخر حين يخطئ النموذج في تحديد المتحدث أو النص داخل اللقطة، فقيد التطوير.
أين تُعالَج موادي المصوَّرة؟
على مجموعة Familiar الخاصة من وحدات معالجة رسومات NVIDIA B300، بقيمة عشرات الملايين من الدولارات، في تورونتو بكندا. لا على سحابة عامة مثل Google Cloud أو AWS أبدًا، ولا لدى مزوّد خارجي لتشغيل نماذج الذكاء الاصطناعي أبدًا.
من يبني Familiar؟
حملة دكتوراه أسّسوا مجال نماذج البشر التي تولّد الصوت والصورة معًا: 22 ورقة بحثية وأكثر من 10,000 استشهاد، والبروفيسور Xu Zheng والبروفيسور Youngjung Uh مستشاران. وتحظى Familiar بدعم Samsung وRedBird وGold House.
المراجع
الترجمة متعددة الوسائط
تبني Familiar Labs دبلجة أفضل بجيل كامل عبر نموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM)، وهو أول نموذج تأسيسي للترجمة متعددة الوسائط: نموذج واحد يقرّر ما الذي يُوطَّن في النص والصوت والصورة، ويعرض عليك الخيارات. صوتك وشفاهك، إلى لغات جديدة. فريق من 8 أشخاص من حملة الدكتوراه، بدعم من Samsung وRedBird وGold House. مهمتنا
