Sadeed Tashkeela

‏1,042,698 صفًّا للتدريب و2,485 صفًّا للاختبار من العربية المُشكَّلة، بحجم 1.43 غيغابايت بصيغة Parquet. ويحمل كل صف ثلاثة حقول: اسم الملف المصدر، والمُدخَل غير المُشكَّل، والمُخرَج المُشكَّل تشكيلًا كاملًا. وشريحة الاختبار مفصولة في الملفات المنشورة، فيخرج الضبط الدقيق وتقييمه المحجوب من تنزيل واحد.

المدوّنة مشتقّة من Tashkeela، المجموعة العربية المُشكَّلة الكبرى المعيارية، بعد إمرارها في مسار التنظيف والتوحيد المبنيّ لورقة «سديد». وإنما نشأ ذلك العمل لأن بيانات التشكيل المتاحة غير متّسقة: تظهر الكلمة الواحدة مشكَّلة جزئيًا وكاملًا وغير مشكَّلة عبر المصادر، والنموذج المضبوط على هذا الخليط يتعلّم عدم الاتساق نفسه. فيوحّد المسار صور الحركات، ويحذف المدخلات التي لا يمكن التوفيق بينها، ويُبقي المُدخَل والمُخرَج متطابقَي المحاذاة بدقة كي تبقى المهمة استعادةً أمينةً للحروف لا إعادة صياغة.

ضبط نماذج التشكيل العربي وتقييمها، وهو ما بُنيت له. ونموذج «سديد» نفسه ضبطٌ دقيق لـKuwain 1.5B على هذا النوع من البيانات المُشكَّلة المنتقاة. وفي ما بعد، تهمّ دقة التشكيل أكثر ما تهمّ في تحويل النص العربي إلى كلام، وفي الترجمة الآلية حيث تلتبس الكلمة غير المشكَّلة، وفي أدوات تعلّم اللغة. أما لأرقام تقييم تُنشر فمعيار SadeedDiac-25 هو الأداة الأنصف: وإنما بُني لأن معايير التشكيل القائمة كانت أضيق من أن تغطي الأنواع النصية ومستويات التعقيد.

مدرَجة علنًا على Hugging Face ويُمنح الوصول عند الطلب. ولا تعلن البطاقة رخصة SPDX خاصة بها، فيحكم الاستعمالَ شروطُ مادة Tashkeela الأساسية وشروط طلب الوصول؛ ولذلك تُرك حقل الترخيص في هذه الصفحة فارغًا بدل تخمينه.

توثّق ورقة «سديد» مسارَ التنظيف وراء هذه المدوّنة والنموذجَ المدرَّب عليها معًا، وتقدّم SadeedDiac-25، المعيار المنشور لتقييم التشكيل عبر الأنواع النصية ومستويات التعقيد. وKuwain 1.5B هو النموذج الأساس الذي كُيِّف عنه «سديد».