المدوّنة العربية المفتوحة

أكثر من 35 مليار رمز عربي منسَّق، منشورة للعموم ويُضاف إليها بانتظام. وهي النظير المنشور لمستودع مسراج الداخلي البالغ تريليوني رمز: معايير التنسيق نفسها، منشورةً كي يتمكن مختبر لا يملك منظومة جمع وتنقية خاصة به من أن يُدرّب تدريبًا مسبقًا، أو يواصل تدريبًا مسبقًا، على نص عربي مرّ بمنظومة كهذه. ويحتفظ كل سجل بحقول الأصل نفسها التي يستعملها المستودع الداخلي : معرّف ثابت للوثيقة، ونوع المصدر، والمجال، ومؤشرات الجودة، وطريقة الاستخراج وإصدار النموذج، والرابط الأصلي وزمن الجلب، كي يستطيع فريق رأى لاحقًا ضعف أحد المصادر أن يستبعده ويعيد القياس بدل أن يضطر إلى إسقاط الخلطة كلها.

تأتي الرموز عبر الآلة نفسها ذات المراحل الثلاث التي تستعملها مسراج لبيانات تدريبها المسبق: مسار «وسم» لمحتوى الويب العربي، و«مترجم» للمعرفة المترجَمة إلى العربية، و«بصير» للنصوص المستخرجة من المستندات، وعبر بوابات الجودة نفسها. ويُطبَّق الترشيح على مستويي الكتلة النصية والوثيقة كاملة، كي لا يتسبب إعلان أو قائمة تنقّل مكرّرة في إسقاط مقال قيّم بأكمله؛ وتُعاير قواعد الجودة للعربية بدل استعارتها من مسارات إنجليزية تعدّ تكرار المفردات وقلة أدوات الربط وشحّ علامات الترقيم عيوبًا، وهي ليست كذلك في العربية.

التدريب المسبق والتدريب المسبق المستمر للنماذج اللغوية العربية، وكل عمل لاحق يحتاج إلى حجم من النص العربي النظيف: تدريب المُرمِّزات، وتكييف المجالات، ومدوّنات الاسترجاع. وهي مدوّنة عامة لا مجموعة مهامّ: لا تحمل تسميات ولا أزواج تعليمات ولا شريحة تقييم، فالنتيجة المقيسة عليها نتيجة نمذجة لغوية لا أكثر. وحفظُ حقول الأصل هو ما يجعلها صالحة لأكثر من استعمال في آن: مدوّنة الاسترجاع تريد الرابط وزمن الجلب، وتكييف المجال يريد حقل المجال، وتدريب المُرمِّز لا يريد شيئًا منها.

منشورة للعموم وتنمو باستمرار. وتُنشر النسخ المفردة عبر منظّمة مسراج على Hugging Face كلما جُهِّزت، ولهذا لا تحمل هذه الصفحة رابط تنزيل واحدًا: المجموعة إصدار جارٍ لا أرشيف مجمَّد.

MSDD وMUDD هما النسختان المسمّاتان المنشورتان حتى الآن، الأولى من مسار الويب والثانية من مسار الترجمة. أما المدوّنة العربية للتدريب المسبق البالغة تريليوني رمز فهي المستودع الداخلي المستمدّة منه، وهي غير منشورة.