الملخّص
المشكلات الأربع
اسأل ما الذي يجعل الفيديو المدبلج جيدًا، فتحصل على قائمة طويلة. لكنها تختصر في أربع:
إذا أخفق الأمران الأولان، فلا قيمة لما بعدهما: جملة مترجمة خطأً أو صوت يُسمع أنه ليس صوت صاحبه، وكلٌّ منهما يكفي وحده لإسقاط الدبلجة. أما الأمران الأخيران فيحدّدان إن كانت النتيجة تبدو كالأصل أم تبدو دبلجة.
الترجمة الطبيعية: نص جديد، لا مطابقة
لكل لغة طريقتها في التعبير: المفردات، والتعابير الاصطلاحية، وبنية الجملة، وصيغ المخاطبة، وما يُقال أصلًا وما لا يُقال. اطلب من نموذج أن «يترجم»، فيطابق الجمل واحدة بواحدة من اللغة أ إلى اللغة ب. والبشر يفعلون الشيء نفسه: ما إن يُقدَّم الأمر على أنه مهمة مترجم، حتى يتحوّل إلى تحويل جمل.
الدبلجة المترجمة بهذه الطريقة مفهومة، لكنها خاطئة.
- اليابانية تميل إلى تجنّب الصياغة المباشرة أكثر من اللازم؛ والجملة الطبيعية كثيرًا ما يجب أن يُعاد بناؤها بأسلوب غير مباشر، لا أن تُليَّن كلمةً كلمة.
- الكورية تحذف الفاعل باستمرار؛ ونقل الضمائر الإنجليزية إليها بتواترها في الإنجليزية يجعل النص غريبًا حتى لو كانت كل كلمة صحيحة.
- ترتيب الكلمات، والمستوى اللغوي، وصيغ التبجيل، وما تتركه كل ثقافة دون قول، كلها تتغيّر من لغة إلى أخرى؛ والترجمة لا تكون جيدة لمجرد أن المعنى الحرفي نجا.
كلمة «جيدًا» لا تختزلها قائمة تدقيق، لذلك نلخّص الهدف في جملة واحدة: أن ينقل النص مضمون الفيديو جيدًا باللغة الهدف. وهذا قابل للقياس:
من جودة الترجمة البشرية الخبيرة لدى Familiar، بتقييم أعمى مقابل تنقيحات مرجعية أعدّها خبراء
الفرنسية، الصينية، الهندية، الإندونيسية (المسودة الأولى لمترجمين محترفين خبراء)أخطاء مهمة في الترجمة أقل لدى Familiar على المقاطع نفسها (29 مقابل 64)
مقابل ELEVENLABS DUBBING V2 (ALPHA) · 111 دبلجة متقابلة · 3 لغاتالصوت الطبيعي: الشخص نفسه، بلغة جديدة
النطق شبه محلول. الإخفاقات المثيرة للاهتمام تأتي بعده:
- الهوية: يبقى الشخص نفسه مسموعًا كالشخص نفسه، في كل لغة.
- العاطفة: ما شعر به المتحدث ينجو من تغيّر اللغة.
- التشديد والإيقاع والقصد: أين تميل الجملة، وبأي سرعة تمضي، وما الذي تحاول فعله.
ويختصر الهدف هنا كما اختُصر هدف الترجمة: أن يطابق الصوت الفيديو. لا «ولِّد اللغة ب بالصوت الآتي من اللغة أ». بل الأداء نفسه، بلغة جديدة. والمشهد جزء من الصوت: الضحكات، والموسيقى، وأجواء المكان.
ضرر أكبر في صوت الخلفية لدى ElevenLabs (11.92 مقابل 3.22 ديسيبل): الموسيقى والمؤثرات والأجواء
دراسة DUBBING V2 (ALPHA) · المقاطع نفسهايبدو صوت Familiar أقرب إلى المتحدث الحقيقي (0.461 مقابل 0.360)، أقرب في اللغات الـ11 كلها
مقابل ELEVENLABS · دراسة DUBBING V1 · 418 دبلجة متقابلةEditing the translation means their old model.
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER · ALL 11 LANGUAGES
261%
ELEVENLABS MORE BACKGROUND ERROR · THE MUSIC, THE AMBIENCE
+243.7%
FAMILIAR ON LAUGHTER AND REACTION SHAPE
النص على الشاشة جزء من الفيديو
الفيديو الحديث يعتمد على النص الظاهر على الشاشة: تعليقات، ونكات، وميمات، وكلمة واحدة تظهر مع إيقاع. كلٌّ منها حدث بصري بلغة المصدر. وتكييفه له شرطان:
- ألّا يُفسد الفيديو أبدًا. أي تشوّهات أو تشتيت بصري يجعل النتيجة أسوأ من الأصل.
- ألّا يُترجَم حرفيًا أبدًا. عليك أن تفهم لماذا يظهر هذا النص في هذه اللحظة وفي هذا المكان، قبل أن تكيّفه.
يترجم اليوم نموذج Familiar متعدد الوسائط لقرارات توطين المحتوى (MLDM)، أول نموذج تأسيسي للترجمة متعددة الوسائط، وهو نهج جديد، الأول من نوعه، العناوينَ والأوصاف والترجمة المصاحبة إلى جانب الدبلجة. أما النص داخل اللقطة فقيد التطوير: شاشة هاتف أو لافتة شارع، تُكتب بالمصطلحات التي اخترتها من قبل، ويقرّر النموذج في حينه إبقاء علامة تجارية أو اسم كما صُوِّر، فكيس Tostitos يبقى Tostitos، وأنت من يختار أيّ نص يُترجَم. والقاعدة ثابتة: إن أمكن ملاحظة التعديل، فهو ليس جيدًا بما يكفي.
مزامنة الشفاه: تنجح حين لا يلاحظها أحد
مزامنة الشفاه تحمل الشرط الصارم نفسه: ألّا تُفسد الفيديو أبدًا. وأعلى مديح تناله مزامنة الشفاه في دبلجة هو السؤال: «ما الذي تغيّر؟»
والتأثير نفسه يعمل لصالح الدبلجة أيضًا. فما إن يطابق الفم الكلام، حتى يحسم الدماغ الالتباس لصالح التوافق: يبدو النطق أوضح، ويبدو جرس الصوت أقرب إلى الشخص نفسه.
الأجزاء الصعبة: الأصوات من خارج الشاشة، والمتحدثون الذين تتداخل أصواتهم، والأشخاص المتشابهون شكلًا أو صوتًا، وتعديل الفم دون كسر الوجه. ضع شخصين على الشاشة، فتزامن أدوات اليوم شفاههما كليهما في آن واحد.
والشفاه ليست سوى البداية. فالإنسان يؤدي الجملة بوجهه كله، بعينيه وحاجبيه ووجنتيه ورأسه، وبجسده: الإيماءات، وهزّات الرأس، ونصف اللحظة التي يُصغي فيها.
مشكلة واحدة، لا أربع
كان كل شرط يختصر في الجملة نفسها. الترجمة الطبيعية: اكتب ما يقوله هذا الفيديو، باللغة الهدف. الصوت الطبيعي: احفظ الأداء نفسه في الكلمات الجديدة. النص على الشاشة: اعرف لماذا هو هناك قبل أن تلمسه. مزامنة الشفاه: عدّل الشخص دون أن تكسره.
الأداء نفسه، بلغة أخرى.
هذا ما يقرّره الـMLDM، مقيسًا على المقاطع نفسها ومنشورًا في /benchmark. كل قرار يُسجَّل مع مهمة الدبلجة ويمكن تغييره؛ واليوم يختار مديروك الإبداعيون بين صياغات الترجمة.
المراجع
- [1]الاختبار المقارن Familiar مقابل ElevenLabs: النتائج الكاملة وفترات الثقة وعينات الاستماع
- [2]الترجمة بالذكاء الاصطناعي مقابل الترجمة البشرية: اختبار أمام المحترفين
- [3]مزامنة الشفاه بالذكاء الاصطناعي: ما هي، وما يفوتها، وما يتفوّق عليها
- [4]لماذا تبدو الدبلجة غريبة في الخارج، وكيف تعالجها الاستوديوهات (نسخة الاستوديوهات من هذه الحجة)
- [5]McGurk & MacDonald، «Hearing lips and seeing voices»، Nature 264 (1976)
الترجمة متعددة الوسائط
تبني Familiar Labs دبلجة أفضل بجيل كامل عبر نموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM)، وهو أول نموذج تأسيسي للترجمة متعددة الوسائط: نموذج واحد يقرّر ما الذي يُوطَّن في النص والصوت والصورة، ويعرض عليك الخيارات. صوتك وشفاهك، إلى لغات جديدة. فريق من 8 أشخاص من حملة الدكتوراه، بدعم من Samsung وRedBird وGold House. مهمتنا
