الملخّص
ما النموذج التأسيسي للترجمة متعددة الوسائط؟
نموذج واحد ينقل الكلمات والصوت والشفاه والمشهد إلى لغة جديدة، كلها في آن واحد.
الفيديو يقول أكثر من كلماته. صوت المتحدث، وطريقة حركة فمه، والضحك في المكان، والموسيقى تحت المشهد، كلها تحمل معنى. وترجمة الفيديو ترجمة جيدة تعني نقل ذلك كله، وإبقاءه متّسقًا: أن تطابق الجملة الفم، وأن ينسجم الصوت مع المشهد، وأن يبقى الشخص على الشاشة كما هو تمامًا.
النموذج التأسيسي للترجمة متعددة الوسائط نموذج واحد يؤدي المهمة كلها. يأخذ المادة المصوَّرة كوحدة واحدة ويقرّر كيف ينبغي أن يقع كل جزء منها في اللغة الجديدة. بنت Familiar أول نموذج من هذا النوع، وتسمّيه MLDM.
لماذا مرّت الدبلجة بأدوات منفصلة حتى الآن؟
ظلّت الدبلجة البشرية بعيدة المنال عن معظم العالم. حتى أكبر الإنتاجات لا تدبلج إلا إلى لغات قليلة بسبب الكلفة والكوادر والوقت؛ أما الإنتاجات الأصغر والبرامج والدراما العمودية فلا تُدبلج أصلًا. والدبلجة البشرية الكاملة، ترجمةً وصوتًا، تكلّف من $70 إلى $150 للدقيقة النهائية.
بدأت الدبلجة الآلية سلسلةً: التفريغ النصي، ثم الترجمة، ثم الصوت، ثم مزامنة الشفاه.
ما الذي يتغيّر حين ينقل نموذج واحد كل شيء في آن واحد؟
عصر المراحل المتتالية
- أدوات منفصلة، واحدة بعد أخرى.
- كل مرحلة تخمّن من دون أن ترى البقية.
- صوت جديد فوق الوجه الأصلي.
أول نموذج تأسيسي
- نموذج واحد، ومجموعة واحدة من القرارات.
- الترجمة تعرف الفم الذي عليها أن تطابقه.
- الصوت يعرف المشهد الذي يُسمع فيه.
- والشخص لا يتغيّر أبدًا.
يصل أداء الممثل نفسه: صوته، وشفاهه تتحرك مع الكلمات الجديدة، وتعابير وجهه، وصوت المشهد من حوله. الضحك وأصوات الجمهور والموسيقى تبقى كما كانت. وعلى المقاطع نفسها، سجّل YouTube أخطاء في صوت الخلفية أكثر بنسبة 232.6% من Familiar. وعلى مستوى الكلمات وحدها، تعادل الترجمة المسودة الأولى للمحترف الخبير: 100.3% من جودته. الأرقام الكاملة في الاختبار المقارن.
ويتغيّر أيضًا العمل المحيط بالدبلجة. الطريق إلى الجودة العالية اليوم أدوات مساعِدة: فريق من فناني المؤثرات البصرية يعمل لقطةً لقطة لأسابيع، وكل لغة مشروع جديد. وأدوات الدفعة الواحدة المتاحة اليوم سريعة وتتخلّى عن الباقي: الترجمة لا تقبل التعديل، والموسيقى وأجواء المكان تختفي، والشفاه تخفق في اللقطات العادية: يد على الوجه، أو ميكروفون، أو ضبابية، أو بوكيه، أو لقطة جانبية، أو عدة أشخاص في الإطار. بلا استدلال مكاني ولا فهم للعالم. أما Familiar فدفعة واحدة بالجودة كاملة: رفعة واحدة تنقل الفيديو إلى كل لغة تختارها، في آن واحد، والقرارات متّسقة لأن نموذجًا واحدًا يتخذها، فلا شيء يحتاج إلى إعادة تجميع يدويًا.
One shot today means giving up the rest.
54.7%
FEWER TRANSLATION ERRORS · FAMILIAR VS ELEVENLABS DUBBING V2
270%
ELEVENLABS MORE BACKGROUND-SOUND ERROR · THE LAUGHTER, THE MUSIC, THE AMBIENCE
+27.8%
FAMILIAR CLOSER TO THE REAL SPEAKER
ماذا يقرّر MLDM، وماذا تختار أنت؟
النموذج متعدد الوسائط لقرارات توطين المحتوى هو النموذج نفسه. يقرّر MLDM ما الذي يُوطَّن وكيف، في النص والصوت والصورة. التعريف الكامل في ما هو النموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM)؟
ما يقرّره وما تختاره
- اليوم
قرارات الترجمة، يراجعها مديروك الإبداعيون.
كل قرار يُسجَّل مع مهمة الدبلجة. ويمكنك تغيير أيٍّ منها. - قيد التطوير
قرارات الصوت والصورة، في المراجعة نفسها.
- قيد التطوير
النص داخل اللقطة، والدبلجة المباشرة.
شاشة هاتف أو لافتة شارع تُكتب بالمصطلحات التي اخترتها من قبل؛ وتبقى العلامة التجارية أو الاسم كما صُوِّر، بقرار يُتخذ في حينه: كيس Tostitos يبقى Tostitos.
سجلّ تلك الخيارات في سجلّ القرارات: كيف يوجّه المديرون الإبداعيون الـMLDM.
ماذا يكسب الاستوديو من نموذج تأسيسي؟
MLDM للعمل الرتيب. القرارات الإبداعية تبقى بيد من صنعوا العمل؛ والنموذج ينقل الباقي إلى كل لغة في آن واحد.
اللغات
30 للدبلجة، 99 للمصدر
دبلجة إلى 30 لغة، من مواد مصوَّرة بأيٍّ من 99 لغة مصدر.
الفيديو النهائي
حتى 4K
المزيج الكامل
صوت محيطي 5.1 حقيقي أو ستيريو
بحسب اختيارك، بصيغة PCM بعمق 24 بت.
الترجمة المصاحبة
.srt و.vtt
مقطّعة وفق أعراف دليل Netflix لأسلوب النصوص المؤقّتة، معيار قوالب الترجمة المصاحبة الذي يعمل به القطاع.
المعالجة الخاصة
تورونتو، كندا
مجموعة من وحدات معالجة رسومات NVIDIA B300 بقيمة عشرات الملايين من الدولارات نملكها، لا سحابة عامة أبدًا.
كل دبلجة تُعالَج على تلك المجموعة، ولا تُعالَج أبدًا لدى مزوّد خارجي لتشغيل نماذج الذكاء الاصطناعي، فلا تتسرّب موادك أبدًا. التفاصيل في وثائق المعالجة الخاصة ووثائق المخرجات. ووراء ذلك حملة دكتوراه أسّسوا مجال نماذج البشر التي تولّد الصوت والصورة معًا: 22 ورقة بحثية، وأكثر من 10,000 استشهاد، والبروفيسور Xu Zheng والبروفيسور Youngjung Uh مستشاران، بدعم من Samsung وRedBird وGold House. الأوراق في أبحاثنا.
هل النموذج التأسيسي للترجمة ذكاء اصطناعي توليدي؟
ليس بالمعنى التقليدي. هكذا تعرّف IBM الذكاء الاصطناعي التوليدي:
الذكاء الاصطناعي التوليدي، ويُسمّى أحيانًا gen AI، هو ذكاء اصطناعي (AI) قادر على إنشاء محتوى أصلي، مثل النصوص أو الصور أو الفيديو أو الصوت أو الشيفرات البرمجية، استجابةً لأمر المستخدم أو طلبه.
إنها أداة قوية لصنع أشياء جديدة. أما MLDM فلا أوامر نصية فيه، ولا يُختلَق شيء جديد: ينقل ما هو موجود أصلًا إلى لغة أخرى. ليس «ذكاءً اصطناعيًا توليديًا»، بل ترجمة لتمكين المبدعين. من إنسان إلى إنسان، ليصل الأداء إلى جمهور أوسع.
الأوراق الأخرى في هذه السلسلة: الترجمة السمعية البصرية في آن واحد، لا على مراحل متتالية، وماذا يعني النموذج التأسيسي للترجمة متعددة الوسائط للاستوديوهات والمنصات، وريادة الترجمة متعددة الوسائط: من البحث السمعي البصري المشترك إلى أول نموذج تأسيسي.
الأسئلة
ما النموذج التأسيسي للترجمة متعددة الوسائط؟
نموذج واحد ينقل كلمات الفيديو وصوته وشفاهه ومشهده إلى لغة جديدة، كلها في آن واحد. والنموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM) من Familiar هو الأول من نوعه: القرارات متّسقة لأن نموذجًا واحدًا يتخذها، والشخص على الشاشة لا يتغيّر أبدًا.
بماذا يختلف عن الدبلجة الآلية حتى الآن؟
كانت الدبلجة الآلية حتى الآن سلسلة من الأدوات المنفصلة: التفريغ النصي، ثم الترجمة، ثم الصوت، ثم مزامنة الشفاه، وكلٌّ منها يخمّن من دون أن يرى البقية. أما MLDM فيتخذ القرارات معًا. الترجمة أولًا، ثم الدبلجة دفعة واحدة: الصوت والشفاه والمشهد معًا.
هل النموذج التأسيسي للترجمة متعددة الوسائط ذكاء اصطناعي توليدي؟
ليس بالمعنى التقليدي. لا أوامر نصية، ولا يُختلَق شيء جديد: يقرّر MLDM كيف تُوطَّن مواد مصوَّرة موجودة أصلًا. الذكاء الاصطناعي التوليدي أداة قوية لصنع أشياء جديدة؛ أما هذا فترجمة لتمكين المبدعين، من إنسان إلى إنسان، ليصل الأداء إلى جمهور أوسع.
هل يمكنني مراجعة ما قرّره النموذج؟
نعم. كل قرار يُسجَّل مع مهمة الدبلجة، ويمكنك تغيير أيٍّ منها. واليوم يختار مديروك الإبداعيون بين صياغات الترجمة، ولكلٍّ منها تعليلها. أما خيارات الصوت والصورة فقيد التطوير.
ما اللغات التي يغطيها؟
دبلجة إلى 30 لغة، من مواد مصوَّرة بأيٍّ من 99 لغة مصدر. رفعة واحدة تنقل الفيديو إلى كل لغة تختارها، يُسلَّم بدقة تصل إلى 4K مع صوت محيطي 5.1 حقيقي أو ستيريو.
أين تُعالَج موادي المصوَّرة؟
على مجموعة Familiar الخاصة من وحدات معالجة رسومات NVIDIA B300، بقيمة عشرات الملايين من الدولارات، في تورونتو بكندا: معالجة خاصة، لا سحابة عامة أبدًا ولا مزوّد خارجي لتشغيل نماذج الذكاء الاصطناعي، فلا تتسرّب موادك أبدًا.
المراجع
الترجمة متعددة الوسائط
تبني Familiar Labs دبلجة أفضل بجيل كامل عبر نموذج متعدد الوسائط لقرارات توطين المحتوى (MLDM)، وهو أول نموذج تأسيسي للترجمة متعددة الوسائط: نموذج واحد يقرّر ما الذي يُوطَّن في النص والصوت والصورة، ويعرض عليك الخيارات. صوتك وشفاهك، إلى لغات جديدة. فريق من 8 أشخاص من حملة الدكتوراه، بدعم من Samsung وRedBird وGold House. مهمتنا
