MSDD: مجموعة بيانات مسراج المنظمة

ثلاثة وعشرون مليون وثيقة عربية مستمدّة من عدة لقطات من Common Crawl، بحجم 63.4 غيغابايت موزّعة على 361 شريحة Parquet. وكل عيّنة نصٌّ بصيغة Markdown مع علامة الصورة في موضعها، وقائمة مرتّبة بروابط الصور، وقائمة بأوصافها، فيبقى موضع كل صورة من المقال سليمًا، وهو مقصد الصيغة كله. أما الصور نفسها فغير مضمَّنة؛ تحمل النسخة روابطها.

MSDD هي المخرَج المنشور لمسار «وسم»، وترث قراراته من أولها إلى آخرها: الترشيح على مستوى الفهرس قبل التنزيل، وتنظيف الـ HTML على مرحلتين، والتحويل إلى Markdown منظَّم، ومرشّحات الجودة المطبَّقة على مستويي الكتلة النصية والوثيقة والمُعاد معايرتها للعربية، وقياس الحيرة اللغوية بنموذج KenLM مدرَّب على العربية، وإزالة شبه التكرار على مستوى العقدة عند عتبة Needleman-Wunsch البالغة 80 بالمئة. وعولجت كل لقطة زحف على حدة، ما جعل الدفعات قابلة لإعادة التشغيل وأبقى الأصل الزمني لكل وثيقة قابلًا للتتبّع.

التدريب المسبق لنماذج لغوية عربية على النص وحده، أو لنماذج عربية متعددة الوسائط على مستندات متداخلة الصور والنص، من النسخة نفسها. وهي عيّنة من مخرجات مسار واحد وليست شريحة من مستودع مسراج الكامل البالغ تريليوني رمز، فينبغي وصفها ببيانات عربية مستمدّة من الويب لا بمقطع ممثِّل للمعرفة العربية: نص الويب يميل إلى الأخبار والأشكال القصيرة والمحتوى المكتوب لمحركات البحث.

برخصة Apache 2.0، مدرَجة علنًا على Hugging Face ويُمنح الوصول عند الطلب. الإدراج والبطاقة وقائمة الملفات متاحة للقراءة للجميع، وتُسلَّم شرائح Parquet بعد طلب وصول. ولأن المحمول روابط الصور لا ملفاتها، فمن يتدرّب على الصيغة متعددة الوسائط يجلب الصور بنفسه وفق شروط المواقع الأصلية.

توثّق ورقة «وسم» المسار الذي أنتج هذه النسخة والمقارنة مع سائر المدوّنات العربية. وMUDD شقيقتها من مسار الترجمة. واستندت بيانات تدريب «بصير» إلى عيّنة من مخرجات الويب نفسها.