المدوّنة العربية للتدريب المسبق

نحو تريليوني رمز عربي، محفوظة في مستودع داخلي لا في نسخة منشورة. تغذّيها ثلاثة مصادر: صفحات الويب العربية المستردّة والمنقّاة بمسار «وسم»، والمعرفة عالية القيمة المترجَمة إلى العربية بنموذج «مترجم»، والنصوص المستخرجة من الكتب والدوريات وملفات PDF الأكاديمية بنموذج «بصير». ويحمل كل سجل الحقول نفسها: معرّفًا ثابتًا للوثيقة، ونوع المصدر، والنص المنظَّم وعناصره البصرية، واللغة واتجاه الترجمة، والمجال، ومؤشرات الجودة، وطريقة الاستخراج وإصدار النموذج، والرابط الأصلي وزمن الجلب، ومعلومات الترخيص.

لكل مصدر مساره الخاص، لأن صفحة الويب والمقطع المترجَم والكتاب الممسوح تفشل كل منها على نحو مختلف، وفرض أداة واحدة على الثلاثة كان سيخفي أي مرحلة أدخلت الخطأ. يفكّك «وسم» شجرة الـ DOM، ويحسب الحيرة اللغوية لكل وحدة نصية بنموذج KenLM مدرَّب على بيانات عربية تغطي لهجات وموضوعات متنوعة، ويزيل العقد شبه المكرّرة التي تتجاوز عتبة تشابه 80 بالمئة بدل إسقاط الصفحة بأكملها. ولا يترجم «مترجم» إلا حيث يكون المجال ضعيف التمثيل في العربية الأصلية، ويُفحص كل زوج من جهة لغة الهدف وتناسب الطول والتكرار وأمانة المصطلح. ويعامل «بصير» كل صفحة بوصفها صورة منظَّمة فيكتبها Markdown، والجداول بصيغة HTML كي تبقى الخلايا المدمجة سليمة. ثم تُوحَّد المسارات الثلاثة ويُزال التكرار بينها، فلا يدخل المقال نفسه مرة من الويب ومرة من PDF وثالثة بوصفه ترجمة معاد نشرها.

التدريب المسبق والتدريب المسبق المستمر لنماذج لغوية ونماذج رؤية ولغة تفهم العربية. وتُوزن الخلطة بحسب الأثر المطلوب من كل طبقة لا بحسب الحجم الخام: تبقى العربية الأصلية هي الأساس، وتسدّ الترجمة فجوات المجالات دون أن تفرض أسلوبًا مترجَمًا على النموذج، وترفع الكتب والأبحاث كثافة المعرفة وطول السياق. ويُراقَب التوازن عبر المصدر والمجال والحقبة الزمنية والعربية الفصحى مقابل اللهجات وطول الوثيقة ونسبة النص المترجَم وجودة التعرّف الضوئي، ويُحتفظ لكل شريحة بمجموعة تحقق مستقلة كي يظهر التحيّز أو التدهور عند مصدره بدل أن يذوب في متوسط واحد.

هذه المدوّنة مملوكة ولم تُنشر. لا تنزيل عامًّا لها ولا ترخيص يُستشهد به. أما المنشور فهو الآلة وعيّنة واحدة من مخرجاتها: مسار «وسم» على GitHub، ومستودع تنقية البيانات العربية المنشور مع نموذج Kuwain 1.5B، وMSDD وهي نسخة منشورة من مرحلة الويب. وMSDD عيّنة من مسار واحد، لا شريحة من هذا المستودع.

لكل مسار من المسارات الثلاثة وراء هذه المدوّنة سجلّه المنشور: ورقة «وسم» لمرحلة الويب، وورقة «مترجم» لمرحلة الترجمة، وورقة «بصير» لاستخراج المستندات. والمدوّنة العربية المفتوحة هي المجموعة المنسَّقة التي تنشرها مسراج فعلًا. وMSDD هي النسخة العامة من مخرجات «وسم».