الملخص التنفيذي

حين يُناقش تطوير النماذج العربية، تتجه الأنظار غالبا إلى حجم النموذج، وعدد معاملاته، وبنيته. لكن النموذج، مهما بلغ حجمه، لا يستطيع أن يتجاوز حدود البيانات التي يتعلم منها.

مما دفعنا  في أول الأمر أن لا نبدأ من مستودع بيانات واحد، لأن كل مصدر كان يعاني نقصا مختلفا. الويب العربي واسع لكنه صاخب، والمحتوى المعرفي عالي الجودة يتركز في لغات أخرى، بينما تبقى نسبة معتبرة من المعرفة العربية حبيسة صفحات الكتب والدوريات وملفات PDF التي لا يمكن لنموذج لغوي استهلاكها مباشرة.فصممنا لهذا  خط أنابيب من ثلاث مراحل مستقلة تقنيا ومتكاملة على مستوى مخطط البيانات: «وسم» لاسترداد الويب العربي وتنظيفه مع الاحتفاظ ببنيته، و«مترجم» لإضافة معرفة مترجمة عالية الجودة، و«بصير» لتحويل صفحات الوثائق إلى Markdown منظم.

 

المعمارية العامة: ثلاثة مسارات إلى مخطط بيانات واحد

 

هذا الفصل بين المسارات مقصود. إذ أن صفحات الويب تقتضي تحليل شجرة الـ DOM وتفكيكها لاستبعاد الضوضاء كالإعلانات والقوائم الجانبية ، والترجمة تحتاج إلى محاذاة دلالية ثنائية اللغة، والكتاب الممسوح يحتاج إلى استعادة النص وترتيب القراءة من البكسلات. فرض أداة واحدة على المصادر الثلاثة كان سيجعل الأخطاء غير مرئية ويصعّب تتبع أصلها.

 

كيف بنينا خط بيانات عربي متعدد المصادر

المرحلة الأولى: تجميع الويب العربي باستخدام وسم

1. تقليص فضاء البحث قبل تنزيل البيانات

من أولى مشكلات العمل مع Common Crawl تكلفةُ الوصول: حيث تحتوي كل Dump على عدد هائل من سجلات WARC ، في حين لا تمثل العربية إلا نحو 0.6% من محتوى Common Crawl وفق تقدير Common Crawl Foundation الذي استندت إليه ورقة وسم مباشرة. لذلك بدأنا من فهرس Common Crawl ،نبحث عن الصفحات التي تشير بياناتها الوصفية إلى وجود العربية، مع اشتراط نجاح الجلب، ثم نستخرج عنوان الصفحة، واسم ملف WARC، والإزاحة البايتية، وطول السجل، واللغات المكتشفة، والنطاق.

هذا الترشيح يسبق تحميل محتوى WARC. مما يجعل أن معظم الصفحات غير ذات الصلة تُستبعد قبل استهلاك الشبكة والذاكرة والتخزين. كما عولجت كل لقطة Crawl بصورة مستقلة، ما سهّل إعادة تشغيل الدفعات، وتتبع المصدر الزمني، وإجراء إزالة التكرار دون تحويل العملية إلى مهمة أحادية ضخمة يصعب استئنافها.

2. من HTML خام إلى وثيقة قابلة للتعلم

بعد استرداد السجل المحدد بالإزاحة والطول، يحول وسم الصفحة إلى HTML ثم ينظفها على مرحلتين. في الأولى تُوحّد المسافات وفواصل الأسطر، وتزال تعليقات HTML ومحتويات CSS والعناصر المتكررة التي لا تنتمي إلى المادة الأساسية، مثل الترويسات والتذييلات وأشرطة التنقل والقوائم.

في الثانية تُقرأ شجرة DOM وتحوّل إلى Markdown يحافظ على العناوين والفقرات والقوائم المرتبة وغير المرتبة والجداول، مع الاحتفاظ بمواقع عناصر الصور في تسلسلها الطبيعي.و العناصر النصية المتجاورة ذات النوع نفسه تُجمع من دون قطع السياق. بهذه الخطوة تصبح الصفحة مناسبة لمسارين معا: تدريب نموذج لغوي على النص وحده، أو تدريب نموذج متعدد الوسائط على تسلسل تتداخل فيه الصور والنصوص.

هذه النقطة هي الفارقة عمليا  بين وسم وعدد من مجموعات الويب العربية السابقة. فمخرجاته  كما هو معلوم عبارة عن  وثيقة لها تراتبية داخلية وعلاقات بين العنوان والفقرة والصورة والتعليق وليس مجرد كيس من الجمل المبعثرة.

3. الترشيح على مستويين بدل قرار واحد للصفحة

يعمل نظام الجودة أولا على مستوى الوسم أو العقدة النصية - كفقرة أو قائمة أو قسم - ثم يعيد تطبيق مجموعة من الفحوص نفسها بقيم مختلفة على مستوى الوثيقة كاملة. هذا يمنع فقرة إعلانية أو قائمة تنقل مكررة من إسقاط مقال مفيد بالكامل.

وكان التكيف مع خصوصية العربية أساسيا.و فالقواعد المستعارة من خطوط معالجة الإنجليزية قد تعتبر التكرار اللفظي، أو قلة كلمات الوقف، أو ندرة علامات الترقيم مؤشرات ضعف. لكن التكرار قد يكون بلاغيا مشروعا في العربية، وقد تكون الجملة سليمة نحويا رغم قلة كلماتها الوظيفية ، كما أن صفحات عربية كثيرة تفتقر إلى ترقيم منتظم دون أن يعني ذلك رداءة المحتوى . لذلك خُفّض وزن نسبة تكرار الكلمات، وأزيلت مرشحات نسبة كلمات الوقف ونسبة علامات الترقيم ونسبة الكلمات الشائعة، وأصبحت معاملة الرموز الخاصة والاختصارات والرموز التعبيرية أكثر تسامحا.

في المقابل شُدّد في كشف اللغة لضمان أن تكون الوحدة عربية في جوهرها، من دون رفض الوجود الطبيعي لمصطلح تقني إنجليزي أو اسم منتج مكتوب باللاتينية. هذه الموازنة هي التي تسمح بالاحتفاظ بصفحة برمجية عربية تتضمن أسماء APIs أو مقتطفات مصطلحية، ورفض صفحة أجنبية لا تحتوي إلا على قائمة عربية صغيرة.

4. نموذج الحيرة  (Perplexity) بوصفه بوابة الجودة

في قلب وسم نموذج لغوي مبني على KenLM، الذي دُرِّب على بيانات عربية مُنتقاة بعناية تراعي التنوع اللهجي والموضوعي، يحسب النموذج perplexity لكل وحدة. النص البشري المتماسك يحصل عادة على درجة ضمن النطاق المقبول، بينما ترتفع الحيرة في حالات الكلمات الملتصقة، والترميز المشوّه،والإعلانات منخفضة القيمة، والصفحات المختلطة اعتباطيا، والنص الآلي الرديء. لم نستخدم عتبة إنجليزية جاهزة؛ ضُبطت العتبات تكراريا على عينات عربية كبيرة حتى لا يتحول الترشيح إلى آلة تمحو اللهجات أو الأساليب غير الصحفية.

تظهر فائدة ذلك بوضوح في أمثلة الورقة: سلاسل عربية بلا فواصل صحيحة، ونصوص ممزوجة ببقايا ترميز لاتيني، وصفحات كثيفة بالكلمات التجارية المتكررة تُستبعد بسبب حيرة مرتفعة. هكذا يعالج وسم الترميز الخاطئ بصورة سلوكية أيضا: حتى عندما ينجح النص المشوّه في تجاوز كشف المحارف، تفشل بنيته الاحتمالية أمام نموذج اللغة.

5. إزالة شبه التكرار من العقد، لا من الوثيقة كلها

التكرار على الويب لا يأتي دائما في صورة صفحتين متطابقتين. قد تتشارك آلاف المقالات قائمة الأقسام، أو إعلانا، أو قالبا قانونيا، بينما يظل متن كل مقال فريدًا. لهذا استُخدمت خوارزمية Needleman-Wunsch لمقارنة الوحدات النصية وإزالة العناصر التي تتجاوز عتبة تشابه 80%.

القرار هنا دقيق: تزال العقدة المتكررة ويُحتفظ ببقية الوثيقة. وبالمقارنة مع إسقاط الصفحة كاملة أو الاكتفاء بإزالة التكرار على مستوى المستند، يزيد ذلك تنوع البيانات ويقلل إهدار المحتوى الفريد. أما الصور فتُحفظ روابطها بدل تنزيلها في مرحلة الاستخراج، مع استبعاد النطاقات غير المناسبة بقائمة حظر، ثم تؤجل فحوص الصور المكلفة إلى المرحلة التي تتطلبها مهمة التدريب.

6. ما الذي خرج من هذه المرحلة؟

وفق بطاقة بيانات MSDD (Misraj Structured Data Dump) المنشورة على Hugging Face،  الناتجة عن وسم تضم 23 مليون وثيقة من لقطات متعددة لـCommon Crawl، بحجم ملفات معلن قدره 63.4 غيغابايت. وتحتوي كل عينة على نص Markdown تتخلله العلامة <image>، وقائمة روابط الصور بالترتيب، وقائمة التعليقات المرتبطة بها. هذه الأرقام تخص المخرج المنشور من مسار الويب، ولا تمثل الحجم الكلي للمخزن الموحد بعد الترجمة واستخراج الوثائق.

المرحلة الثانية: إثراء المعرفة باستخدام المترجم

1. الترجمة هنا قرار تغطية 

لا نترجم الويب الإنجليزي كله. تبدأ المرحلة من خريطة فجوات: ما المجالات التي لا تحصل على تمثيل عربي كافٍ في بيانات الويب الأصلية؟ ثم تُختار مصادر عالية القيمة في التقنية والعلوم والصحة والقانون والثقافة وغيرها، ويحتفظ كل مقطع بمعرف المصدر واللغة الأصلية والمجال والترخيص وتاريخ الاسترداد.

الفكرة هي إدخال معرفة غير متاحة عربيا مع تقليل الأثر الأسلوبي للترجمة الآلية. لذلك لا يُقبل النص لمجرد أن النموذج أعاد جملة عربية نحوية؛ يجب أن يثبت أن اللغة المستهدفة صحيحة، وأن طول المخرج متناسب مع المصدر، وأن المحتوى كامل وغير مكرر، وأن المصطلحات لا تنحرف عن المجال.

2. لماذا المترجم مناسب لهذا الدور؟

المترجم نموذج decoder-only بحجم 1.5 مليار معامل، مبني على Kuwain-1.5B، وهو نموذج ثنائي اللغة (عربي- إنجليزي ) ومتمركز حول العربية. جرى تكييفه على مرحلتين. أولا، استمر التدريب المسبق على نحو 10 مليارات token من الأزواج العربية-الإنجليزية باستخدام هدف توقع الـtoken التالي. أضيف رمزان خاصان للغتين، <|Arabic|> و<|English|>، وكان ترتيب جملتي كل زوج يُبدّل عشوائيا حتى لا يتعلم النموذج اتجاهًا مهيمنا.

ثانيًا، جرى الضبط الدقيق على نحو 6 ملايين زوج متوازٍ عالي الجودة. في هذه المرحلة يُحجب فقدان المصدر causal masking، بحيث يتعلم النموذج توليد الهدف من المصدر بدل إنفاق السعة على إعادة توقع نص الإدخال. كما استخدم التدريب قرابة 3 مليارات token على حقبتين.

هذا التصميم مهم للترجمة إلى العربية تحديدا. كثير من النماذج متعددة اللغات تتعلم غالبًا من نص أصله إنجليزي، فتكون العربية مخرجا ثانويا. أما بيانات ضبط (مترجم) فأعطت العينات التي يكون أصلها عربيا وزنا 2:1 مقابل العينات ذات الأصل الإنجليزي، مع تغطية ثقافية وقانونية وعلمية وصحية ودينية وتقنية. والهدف من ذلك ليس تحسين الاتجاه العربي-الإنجليزي فقط، بل جعل مولّد العربية يرى نصًا عربيا أصيلا بما يكفي ليتعلم الإيقاع والتركيب والمصطلح بدل تقليد بنية الإنجليزية.

3. معايير فحص الجودة قبل قبول الترجمة

خضعت بيانات التدريب لسلسلة فحوص واضحة:منها  إسقاط الأزواج التي يقل أحد طرفيها عن ثلاثة tokens، ورفض الزوج إذا لم تكن الجملة المترجمة باللغة المطلوبة، واستبعاد الفروق الكبيرة في الطول التي تشير إلى ترجمة ناقصة أو إضافة غير مبررة، ثم إزالة الأزواج المكررة.

ولم تكن المراجعة آلية فقط. استُبعدت مجموعات ظهرت فيها أنماط متكررة من الخروج عن السياق أو الهلوسة أو المعلومات غير الصحيحة أو ضعف المحاذاة، وفحص لغويون عينات ممثلة من الترجمات المولدة. وفي Tarjama-25، جُمعت 30 ألف قطعة أصلية بطول 50 إلى 100 كلمة، نصفها عربي الأصل ونصفها إنجليزي الأصل، ثم اختيرت 5,000 ثنائية وراجعها مترجمون محترفون، وصححها خبراء متخصصون في كل مجال

.

عمليًا، لا يُعتمَد أي نص مترجَم في التدريب إلا بعد اجتيازه هذه الفحوص كاملة: التأكد من اللغة، ومطابقة الطول المتوقع، وعدم التكرار، وسلامة المصطلحات.

4. نتائج تقيس جودة المترجم

على Tarjama-25 حقق المترجم في اتجاه الترجمة من الإنجليزية إلى العربية COMET قدره 83.41 وchrF++ قدره 68.67 وBLEU قدره 43.71. وللمقارنة، حقق GPT-4o mini على المجموعة نفسها 83.36 و66.36 و38.52 على التوالي. لا تعني هذه النتيجة أن كل مخرج صالح تلقائيًا للتدريب، لكنها تقدم دليلا تجريبيا على أن نموذجا صغيرا متخصصا، مدربا على بيانات عربية أصيلة ومتوازنة مجاليًا، يستطيع منافسة نماذج أكبر بكثير في الاتجاه الأصعب: توليد العربية.

المرحلة الثالثة: استخراج المعرفة من الكتب والأبحاث باستخدام بصير

1. لماذا لا يكفي استخراج النص من PDF؟

كثير من ملفات PDF العربية لا تحتوي طبقة نص موثوقة أصلا، وحتى حين توجد هذه الطبقة قد يكون ترتيب الكلمات معكوسا، أو الأعمدة مختلطة، أو الحواشي مدرجة في منتصف المتن. لهذا تُعامل الصفحة في مسار بصير بوصفها صورة ذات بنية، لا بوصفها سلسلة محارف مخفية داخل الملف.

المسار الموثق في الورقة يركز على صفحات PDF المصورة أو المولدة من الوثائق. أما EPUB القابل لإعادة التدفق فيُستخرج عادة من XHTML مباشرة عبر مسار DOM شبيه بوسم؛ ولا يُحال إلى بصير إلا إذا كان ثابت التخطيط أو قائما على صور صفحات. هذا الفصل يمنع تشغيل OCR على نص رقمي متاح أصلا ويقلل الأخطاء والتكلفة.

2. من البكسل إلى Markdown منظم

بصير مبني على Qwen2.5-VL-3B-Instruct. اختير هذا الأساس بعد مقارنة نوعية لقدرات النماذج الرؤيوية المفتوحة في دقة النص العربي، والاتجاه من اليمين إلى اليسار، والاتساق العام. كشفت الاختبارات الأولية أن النموذج الأساس قد يعود أحيانًا إلى اتجاه يسار-يمين أو يضعف مع النص المشكول، ولذلك جرى تخصيصه للعربية.

بدل إعادة تدريب كل المكونات، جُمّد المشفّر البصري وحُدّث decoder اللغة وبقية المعاملات غير البصرية. أظهرت التجربة أن هذا الضبط تفوق على الضبط الكامل وLoRA: حقق ChrF قدره 89.79 مقابل 84.79 و85.52. كما كانت نافذة 4,096 token أفضل من 2,048 و8,192؛ فهي تمنح السياق الكافي لصفحة كثيفة من دون padding زائد يخفف الإشارة البصرية.

المخرج ليس نصا مسطحا. يُكتب المحتوى في Markdown، وتمثل الجداول في HTML حتى لا تضيع الخلايا المدمجة والبنى المعقدة، وتستخدم وسوم خاصة لأرقام الصفحات والعلامات المائية ومواضع الصور. هذا يجعل الناتج صالحا للتسلسل مع الاحتفاظ بإشارات التخطيط التي يحتاجها نموذج الوثيقة.

3. تدريب النموذج على تنوع الصفحة الحقيقية

بُنيت بيانات بصير من 500 ألف زوج صورة-نص. منها 300 ألف زوج اصطناعي بدأ بوثائق Markdown من الويب، ثم مر عبر Markdown إلى HTML، ثم Word، ثم PDF، وأخيرا صورة عالية الدقة. أُدخل تنوع مضبوط يشمل 39 خطا عربيا، ومقاسات صفحات واتجاهات متعددة، وعمودا إلى ثلاثة أعمدة، وأحجام خط من 8 إلى 22 نقطة.

خضع 150 ألف مثال من البيانات الاصطناعية لتحويلات تحاكي الطباعة والمسح الواقعي ضمن 29 تحويلا: علامات مائية، وعيوب طباعة، وكتابة بشرية فوق الصفحة، وطيّ واصفرار، وضجيج رقمي، وتشوه منظور، وإضاءة ضعيفة، وأنواع من التمويه.

أما 200 ألف زوج المتبقية فجاءت من وثائق حقيقية: كتب ومجلات ووثائق تعليمية وأبحاث أكاديمية. استُخدمت خوارزميات رؤيوية لاختيار صفحات متنوعة بناء على محاذاة الصناديق النصية وتداخلها وألوان الصفحة، بما يضمن وجود جداول وأشكال وصفحات فهارس وأعمدة وتخطيطات مائلة وصور وخلفيات ملونة. ثم راجع خبراء عينة ممثلة من ground truth الذي ولده نموذج رؤيوي، نصيا وبنيويا.

4. التعامل مع الحواشي والجداول والمعادلات

الحواشي ليست مجرد نص صغير؛ يجب ربطها بموقعها ومنعها من قطع تسلسل المتن. تدريب بصير على الصفحات الحقيقية شمل حواشي معقدة وأعمدة متعددة وطباعة غير معيارية، بينما يقيس TEDS قدرته على استعادة البنية الشجرية لا الحروف وحدها. الجداول تتحول إلى HTML منظم، وتوحّد أشكال الوسوم قبل التقييم حتى لا يعاقب النموذج على اختلاف شكلي لا دلالي.

أما المعادلات الرياضية، فلا تقدم ورقة بصير benchmark مستقلا لاستخراجها إلى LaTeX؛ لذلك لا يصح تقديم هذا الجزء بوصفه قدرة مثبتة بالورقة. في خط إنتاج مخصص للأبحاث، ينبغي اكتشاف مناطق المعادلات وإحالتها إلى Math OCR متخصص، ثم إعادة دمجها في موضعها داخل Markdown.

5. الدقة والقيمة المعرفية

على Misraj-DocOCR، وهو benchmark من 400 صفحة متنوعة راجعها خبراء، حقق بصير WER قدره 0.25 وTEDS قدره 66 وMARS قدره 76.885. كانت قيمة WER أفضل من Gemini 2.5 Pro البالغة 0.37 ومن Azure AI Document Intelligence البالغة 0.44، كما تفوق في قياسات البنية العامة.

لا تكمن قيمة هذه المرحلة في عدد الصفحات فقط. بيانات الويب تميل إلى الأخبار، والنسخ المختصرة، والمحتوى المتكرر المهيأ لمحركات البحث. أما الكتب والأبحاث فتضيف حججًا طويلة المدى، وتسلسلات تعريفية، ومصطلحات تخصصية، وجداول نتائج، وهوامش وإحالات. هذه البنية تمنح النموذج معرفة أعمق وسياقا أطول من الصفحة العامة، شريطة الحفاظ على تراخيص المصادر وأصل كل وثيقة.

التكامل: من ثلاثة مصادر إلى قاعدة بيانات تدريب موحدة

1. مخطط قياسي يحفظ الأصل

ينتهي كل مسار إلى سجل موحد يحتوي، في الحد الأدنى، على: معرف ثابت للوثيقة، ونوع المصدر web/original أو translated أو document-ocr، والنص المنظم، والعناصر البصرية، واللغة واتجاه الترجمة إن وجد، والمجال، ومؤشرات الجودة، وطريقة الاستخراج وإصدار النموذج، وعنوان الأصل ولقطته الزمنية، وبيانات الترخيص.

الاحتفاظ بهذه الحقول هو الذي  يسمح بإعادة تكوين خليط التدريب، واستبعاد مصدر تبين ضعفه لاحقا، وقياس أثر كل طبقة على النموذج بدل التعامل مع corpus كصندوق أسود.

2. التطبيع وإزالة التكرار عبر المصادر

قبل المقارنة، يمر النص بطبقة تطبيع موحدة للمحارف Unicode والمسافات و فواصل الأسطر وأشكال Markdown، مع الحفاظ على المعلومات التي قد تكون دلالية، مثل التشكيل في المجموعات المخصصة له. بعد ذلك تزال المطابقات الحرفية ببصمة على النص المطبع، ثم تفحص أشباه المطابقات على مستوى المقاطع حتى لا تدخل المقالة نفسها مرة من الويب ومرة من PDF ومرة بترجمة معاد نشرها.

خوارزمية Needleman-Wunsch ذات عتبة 80% موثقة داخل وسم لإزالة التكرار على مستوى عقد HTML. أما إزالة شبه التكرار بين المسارات الثلاثة وآلية البصمات المستخدمة فيها فلم تُنشر في الأوراق الثلاث؛ لذلك يجب إدراج اسم الخوارزمية والعتبات الفعلية من نظام الإنتاج قبل النشر النهائي، بدل افتراض MinHash أو SimHash من دون دليل.

3. التوازن لا يعني حصصا متساوية

لو جرى المزج وفق الحجم الخام وحده، سيبتلع الويب بقية المصادر. لذلك تُبنى الحصص على الأثر المطلوب: العربية الأصلية تبقى الأساس، والترجمة تملأ فجوات المجالات من دون أن تفرض أسلوبا مترجما على النموذج، والكتب والأبحاث ترفع كثافة المعرفة وطول السياق.

تُراقب الموازنة على محاور المصدر، والمجال، والفترة الزمنية، والفصحى واللهجات، وطول الوثيقة، ونسبة النص المترجم، وجودة OCR. ويمكن رفع عينات نادرة عالية الجودة بأوزان مدروسة بدل تكرارها حرفيا، مع إبقاء مجموعة تحقق مستقلة لكل شريحة لاختبار الانحياز أو التدهور.

الأرقام: ما نعرفه علنا وما يحتاج إلى اعتماد داخلي

 

انطلاقًا من رؤية مسراج لبناء بنية بيانات عربية قادرة على دعم تطوير النماذج المتقدمة، أنشأنا مخزنا داخليا يضم نحو تريليوني توكن باللغة العربية، جُمعت عبر مسارات متكاملة تشمل محتوى الويب العربي، والمعرفة المترجمة، والمحتوى المستخرج من الكتب والأبحاث. ولا تمثل مجموعة MSDD سوى عينة منشورة من مخرجات مسار «وسم»، وليست انعكاسًا للحجم الكامل للمخزن الذي بنته مسراج أو لجميع مصادره. 

الدليل المتاح وتصميم القياس المطلوب

تثبت الأوراق أثر التخصص على مستوى مكونات الخط. فالمترجم ذو 1.5 مليار معامل نافس نماذج أكبر بكثير وتفوق في عدة مقاييس للترجمة إلى العربية، وبصير خفض WER إلى 0.25 مع أفضلية بنيوية واضحة. كما استُخدمت عينة من مخرجات وسم ضمن بيانات تدريب بصير.

يُقاس الفرق على فهم الفصحى، والأسئلة المعرفية، والاستدلال، والتوليد الطويل، والترجمة، ومهام اللهجات، مع نتائج منفصلة لكل مجال ولهجة لا متوسط واحد يخفي التفاوت. والصيغة النهائية المقترحة بعد توافر النتائج هي:

 

الخلاصة

لم يكن أصعب ما في بناء البيانات العربية هو العثور على النص، بل تحديد ما ينبغي الاحتفاظ به، وما ينبغي إصلاحه، وما ينبغي ألا يدخل التدريب أصلا. وسم حوّل Common Crawl من أرشيف HTML صاخب إلى وثائق عربية منظمة تحافظ على بنية الصفحة. المترجم أضاف معرفة لا تتوافر بالعربية مع نموذج صغير متخصص وبوابات تمنع ضجيج الترجمة. وبصير فتح طبقة الكتب والأبحاث بتحويل الصفحة المرئية إلى Markdown قابل للتسلسل مع قياس مستقل لدقة النص والبنية.

القيمة الحقيقية تظهر عند جمع هذه المراحل من دون محو الفروق بينها: provenance محفوظ، وجودة قابلة للتدقيق، وتكرار يزال على أكثر من مستوى، وخليط يمكن إعادة وزنه وقياسه. بهذه الطريقة يصبح corpus أصلًا هندسيًا يمكن تفسيره وتطويره، لا مجرد رقم ضخم من الـtokens.