الملخص التنفيذي

يبدو الويب مصدرا هائلا للبيانات العربية، إلا أنها لا يصل إلى فرق الذكاء الاصطناعي في هيئة جاهزة للاستخدام. فالصفحة الواحدة قد تجمع نصا أصيلا مع قوائم تنقّل وإعلانات ومحتوى مكرر وشيفرات تنسيق وصور منفصلة عن سياقها. وعندما تُحوَّل هذه الصفحة إلى نص مسطّح، تضيع العناوين والقوائم والجداول والتسلسل الذي يربط الصورة بما يشرحها.

طوّرت مسراج للذكاء «وَسْم» لمعالجة هذه الفجوة: خط معالجة عربي مبني على بيانات Common Crawl، يستخرج الصفحات ذات المحتوى العربي مبكرا، ينظف HTML، يحوّل المحتوى إلى Markdown منظم، يفصل العناصر النصية والبصرية مع الحفاظ على ترتيبها، ثم يطبق ترشيحًا وإزالة تكرار على مستويين: الوحدة النصية والوثيقة كاملة.

إن ما يجعل وسم قيما للمؤسسات هو قدرته المتمثلة في جمع البيانات وتتبع مصادرها، وفهم بنيتها، وتكييفها لتدريب النماذج اللغوية أو متعددة الوسائط، أو لبناء مستودعات معرفة وتحليلات محتوى واسعة النطاق. وقد أُستخدم جزء من البيانات الناتجة في تدريب نموذج «بصير» لفهم الوثائق، وفق ما تذكره الورقة البحثية صراحة في مقدمتها.

المشكلة: المحتوى العربي موجود، إلا أن الوصول إليه لا يعني امتلاكه كبيانات

تواجه الجهات التي تعتمد على الويب لبناء أصول لغوية أو معرفية أربع مشكلات مترابطة:

• الضوضاء: تختلط الإعلانات والقوائم والتذييلات والتعليقات البرمجية وCSS والمسافات الزائدة بالمحتوى الفعلي..

• فقدان البنية: الاستخراج النصي التقليدي يسطّح الصفحة، فيضيع الفرق بين عنوان وفقرة وقائمة وجدول وتعليق صورة.

• مرشحات غير ملائمة للعربية: قواعد بُنيت للإنجليزية قد تستبعد نصا عربيا سليما بسبب التكرار البلاغي، أو قلة علامات الترقيم، أو اختلاف توزيع الكلمات الشائعة.

• قرار حذف خشن: في بعض خطوط المعالجة، قد يؤدي وجود عنصر مكرر واحد إلى إسقاط الوثيقة بأكملها، بما فيها من محتوى فريد لا صلة له بذلك التكرار..

 

لماذا لا تكفي أزواج «صورة + وصف»؟

النماذج متعددة الوسائط تتعلم من وجود صورة ونص بجانبها كما أنها تستفيد من تسلسل الوثيقة: عنوان يقدّم الموضوع، وفقرة تفسر الشكل، وصورتان تتم مقارنتهما، وجدول يلخّص النتيجة. البيانات المتداخلة تحافظ على هذا السياق الطويل، بينما تفصل مجموعات الأزواج الصورة عن بقية الحكاية التي ظهرت داخلها.

 

الحل: خط معالجة يحفظ المعنى قبل أن يقلّص الضوضاء

بُني وَسْم بالاستفادة من إطار  OBELICS كنفطة انطلاق، ثم عُدّل وامتد ليلائم العربية ويحافظ على البنية الهرمية للصفحة في Markdown. مما مكننا من استخدامها كمحتوى نصي فقط، أو كوثائق متعددة الوسائط يتعاقب فيها النص والصورة بحسب موضعهما الأصلي في الصفحة.

 

1. الاكتشاف المبكر للمحتوى العربي

يُفحص فهرس Common Crawl أولًا لاختيار الصفحات التي تحتوي العربية، حتى إن لم تكن عربية بالكامل. إجراء الترشيح قبل تحميل ملفات WARC كاملة يقلل الزمن والذاكرة والتخزين. ويُحفظ مع كل صفحة عنوان URL، وموضعها وحجمها داخل WARC، واللغة أو اللغات المكتشفة، ونطاق المصدر.

2. استرجاع الصفحة وتوحيد HTML

يسترجع النظام المحتوى الخام باستخدام بيانات الموقع والإزاحة والحجم، ثم يوحّد المسافات وفواصل الأسطر، ويحذف تعليقات HTML، والرؤوس والتذييلات وقوائم التنقل والمكونات غير الدلالية، إضافة إلى محتوى CSS.

3. التحويل إلى Markdown منظم

تُحوّل الصفحة إلى Markdown مع الحفاظ على الفروق بين العناوين والفقرات والقوائم المرتبة وغير المرتبة والجداول. وتُلتقط الصور والأشكال كعناصر بصرية، مع دمج العناصر النصية المتجاورة ذات الوسم نفسه للمحافظة على التدفق.

4. الترشيح على مستوى الوحدة النصية

تُقيّم كل وحدة مترابطة - مثل فقرة أو قائمة أو قسم - بدل النظر إلى الصفحة ككتلة واحدة. تُخفف معايير غير عادلة للعربية، ويُشدّد التحقق من غلبة العربية مع السماح بالمصطلحات الأجنبية الطبيعية.

5. قياس التماسك بنموذج عربي

طوّر الفريق نموذج Perplexity مخصصا مبنيا على إطار KenLM، دُرّب على محتوى عالي الجودة يغطي لهجات وموضوعات متعددة. الهدف رصد النص المشوش، والإعلانات الرديئة، والمحتوى المولّد آليًا بصورة ضعيفة، مع إبقاء العربية البشرية السليمة.

6. إزالة التكرار بدقة

بدل حذف الصفحة كاملة بسبب عناصر مكررة، يستخدم وَسْم خوارزمية Needleman-Wunsch وبحد تشابه 80% لاكتشاف الوحدات شبه المتطابقة وإزالتها. بذلك تبقى الأجزاء الفريدة من الوثيقة.

7. فحص الوثيقة كاملة

تُعاد معايير الجودة على مستوى الصفحة كلها، لكن بعتبات مختلفة عن مستوى الوحدة، لضبط جودة المحتوى الطويل دون التضحية غير الضرورية بحجم البيانات العربية.

القرار الهندسي الأهم: تكييف الجودة مع العربية

لم ينقل الفريق مرشحات الإنجليزية كما هي. فالورقة توضح أن بعض المؤشرات الشائعة في خطوط المعالجة الإنجليزية، التي قد تتحول إلى انحياز لغوي عندما تُستخدم خارج اللغة التي صُممت لها:

 

جدول 1 - تكييف مؤشرات الجودة مع خصائص العربية، وفق القسم 1.6.1 من الورقة.

ماذا ينتج وَسْم؟

تمثيل منظم للوثيقة يحتفظ بالمحتوى الذي يحتاجه النموذج، وبإشارات البنية التي تشرح كيف ترتبط الأجزاء ببعضها:

• تسلسل طبيعي بين الفقرات والصور كما ظهر في الصفحة.

• هرمية العناوين والأقسام، والقوائم والجداول.

• علاقات مثل الصورة وتعليقها والسياق السابق واللاحق لها.

• بيانات وصفية عن المصدر وموقع الصفحة داخل لقطة Common Crawl واللغة والنطاق.

• مرونة لاشتقاق corpus نصي، أو بيانات تدريب متعددة الوسائط، أو صيغ مخصصة لمهمة بعينها.

النتائج التي تدعمها الورقة

اختبر الباحثون نموذج قياس التماسك على عينات عشوائية من 100 ألف مثال من كل مجموعة بيانات. كانت «نسبة الاستبعاد» هي نسبة الأمثلة التي تجاوزت حد Perplexity المقبول.

هذه النسب عمومًا تقيس فقط ما رفضه مرشح فريق وَسْم عند تطبيقه على العينات، ولا تمثل تقييمًا شاملًا لجودة كل مجموعة بيانات في ذاتها، ولا ترتيبًا مطلقًا بينها.

تقدّم الأمثلة النوعية في الورقة تفسيرًا عمليًا لحالات الاستبعاد: نصوص مقلوبة أو مشوَّهة الترميز، وخلط غير متماسك بين العربية ولغات أخرى، وصفحات حشو آلي، ومحتوى إعلاني متكرر.

 

---

 

 

 

تقدم الأمثلة النوعية في الورقة تفسيرا عمليا للاستبعاد: نصوص مقلوبة أو مشوهة الترميز، خلط غير متماسك بين العربية ولغات أخرى، صفحات حشو آلي، ومحتوى إعلاني متكرر.

 

متى يصبح وَسْم مكوّنا مناسبا للجهات والمؤسسات؟

مختبرات الذكاء الاصطناعي

عند بناء بيانات pre-training أو continued pre-training لنماذج عربية لغوية أو متعددة الوسائط، مع الحاجة إلى جودة قابلة للضبط وبنية أغنى من النص الخام.

الجهات الإعلامية والناشرون

عند تحويل أرشيف ويب واسع إلى محتوى منظم، أو تحليل موضوعاته، أو بناء بحث دلالي يحافظ على العناوين والجداول والصور في سياقها.

الجهات الحكومية والثقافية

عند جمع محتوى عربي عام من مصادر متعددة لبناء مستودعات معرفة أو مجموعات بحثية، مع الاحتفاظ بالمصدر والهيكل.

فرق البيانات والمنتجات

عند الحاجة إلى خط قابل لإعادة الاستخدام يسبق RAG، أو التصنيف، أو الاستخراج، أو تدريب النماذج، بدل إعادة تنظيف الويب لكل مشروع.

الباحثون في العربية

عند دراسة اللهجات والموضوعات والأنماط الرقمية على نطاق واسع دون استخدام مرشحات إنجليزية قد تستبعد عينات عربية سليمة .

ما الذي يميز وَسْم عن الاستخراج التقليدي؟

خاتمة

يعالج وَسْم المشكلة في النقطة التي تسبق تدريب النموذج: كيف نحول الويب العربي من صفحات صُممت للقراءة البشرية إلى بيانات منظمة يستطيع النظام فهمها، من دون أن نفقد البنية التي تحمل جزءًا من المعنى؟

اختيار الترشيح المبكر، والحفاظ على Markdown، وتكييف معايير الجودة مع العربية، وإزالة التكرار على مستوى الوحدة، يجعل وَسْم أساسا عمليا لبناء أصول بيانات عربية أكثر ثراءً ومرونة. وهذه هي قيمته للجهات: ليس مجرد الوصول إلى الويب، بل تحويله إلى مادة موثوقة يمكن البناء عليها.

المصدر

Hennara, K., Bastati, A., Hreden, M., Hamed, M. M., Aldallal, Z., Chrouf, S., & AlModhayan, S. (2025). Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora. arXiv:2511.07080v1.