Wasm: مجموعة بيانات عربية متعددة الوسائط منظمة

«وسم» مسار عمل لا أرشيف ثابت: سلسلة معالجة مفتوحة تحوّل Common Crawl إلى مستندات عربية منظَّمة متعددة الوسائط، وتُنشر معها نسخة تمثيلية من مخرجاتها. وتخرج كل وثيقة بصيغة Markdown تحفظ الفرق بين العناوين والفقرات والقوائم المرتّبة وغير المرتّبة والجداول، وتُبقي الصور في مواضعها من الصفحة بدل انتزاعها إلى أزواج صورة ونص منفصلة، ومعها بيانات وصفية عن المصدر ولقطة Common Crawl التي جاءت منها الصفحة ولغتها ونطاقها.

ينطلق «وسم» من إطار OBELICS ويُكيَّف للعربية. ولأن العربية لا تمثّل إلا نحو 0.6 بالمئة من Common Crawl، يرشّح المسار فهرس الزحف قبل تنزيل أي شيء، فيُبقي الصفحات التي تشير بياناتها الوصفية إلى العربية ونجح جلبها. ثم يُنظَّف الـ HTML المسترجَع على مرحلتين ويُحوَّل إلى Markdown، ويُرشَّح مرتين: مرة لكل كتلة نصية ومرة للوثيقة كاملة، كي لا يُسقط إعلانٌ أو قائمة تنقّل المقالَ المحيط بهما. وأُعيدت معايرة قواعد الجودة للعربية: خُفِّض وزن نسب تكرار الكلمات، وأُزيلت مرشّحات أدوات الربط وعلامات الترقيم والكلمات الشائعة، لأن التكرار البلاغي وقلة أدوات الربط وعدم اطّراد الترقيم أمور طبيعية في العربية وليست دليلًا على رداءة الصفحة. ويقيس نموذج KenLM مدرَّب على العربية عبر لهجات وموضوعات متنوعة حيرةَ كل وحدة، وتزيل خوارزمية Needleman-Wunsch العقد شبه المكرّرة فوق عتبة تشابه 80 بالمئة، فتذهب العقدة المكرّرة ويبقى سائر الوثيقة.

بناء مدوّنات تدريب مسبق عربية بإحدى صيغتين: نصية خالصة، أو متعددة الوسائط متداخلة، من المخرَج نفسه. وحجّة الورقة للصيغة الثانية أن النماذج متعددة الوسائط المدرَّبة على مستندات طبيعية تتداخل فيها الصور والنصوص تتفوّق على المدرَّبة على أزواج صورة ونص عبر طيف واسع من المعايير، وأن العربية لم يكن لها مدوّنة تحفظ بنية المستند ليُتدرَّب عليها بهذه الطريقة. والمسار مُعدّ أيضًا ليُقرأ ويُناقَش: يصدر معه تحليل مقارن لخياراته في الترشيح مقابل خيارات المدوّنات الكبرى القائمة.

المسار مفتوح المصدر على GitHub برخصة Apache 2.0، وتُنشر معه نسخة تمثيلية من مجموعة البيانات. وتُحفظ روابط الصور ولا تُنزَّل أثناء الاستخراج، فمن يستعمل النسخة يجلب الصور بنفسه ويلتزم بما تشترطه المواقع الأصلية.

MSDD هي النسخة المنشورة من مخرجات هذا المسار. وورقة «وسم» منشورة على arXiv ومقبولة في LaTell 2026. واستندت بيانات تدريب «بصير» إلى عيّنة من مخرجات «وسم»، والمسار نفسه هو مرحلة الويب في مدوّنة مسراج للتدريب المسبق البالغة تريليوني رمز.