MUDD: مجموعة بيانات مسراج غير المنظمة

‏4,758,338 صفًّا من النص العربي الصِّرف، في 64 شريحة Parquet. وخلافًا لـMSDD لا تحمل صورًا ولا بنية مستند: هذه ذراع الترجمة في بيانات التدريب المسبق، عربيةٌ منقولة عن مادة إنجليزية لم يكن لها نظير عربي يستحق الزحف إليه. والجانب الإنجليزي هو SlimPajama-627B، مدوّنة التدريب المسبق المفتوحة المنزوعة التكرار.

الترجمة هنا قرار تغطية لا تمرين حجم. تبدأ المرحلة بخريطة فجوات: أي المجالات ضعيفة التمثيل في بيانات الويب العربية الأصلية، وتنتقي مادة مصدرية عالية القيمة في التقنية والعلوم والصحة والقانون والثقافة. ويحتفظ كل مقطع بمعرّف مصدره ولغته الأصلية ومجاله وترخيصه وتاريخ جلبه. ويتولى الترجمةَ «مترجم»، وهو نموذج بحجم 1.5 مليار معامل من نوع فك الترميز فقط مبنيّ على Kuwain 1.5B، خضع لتدريب مسبق متواصل على نحو عشرة مليارات رمز من الأزواج العربية الإنجليزية، ثم لضبط دقيق على نحو ستة ملايين زوج متوازٍ عالي الجودة، بترجيح اثنين إلى واحد لصالح العيّنات عربية الأصل كي يتعلم المولّد العربي إيقاع العربية بدل محاكاة البنية الإنجليزية. ولا يُقبل المخرَج إلا بعد اجتيازه التحقق من اللغة، وفحص تناسب الطول الذي يكشف البتر والحشو، وإزالة التكرار، والتحقق من المصطلح.

التدريب المسبق والتدريب المسبق المستمر حيث يكون المقصود إضافة معرفة لا تحملها العربية أصلًا: المجالات التي لن يملأها زحف على الويب العربي. وهي نصوص مترجَمة آليًا وينبغي وسمها بذلك في أي خلطة: بوابات الجودة موضوعة لكبح ضجيج الترجمة لا لجعل المخرَج غير متمايز عن الكتابة العربية الأصلية، والنموذج المدرَّب على نسبة عالية منها سيكتسب أسلوبًا مترجَمًا.

مدرَجة علنًا على Hugging Face ويُمنح الوصول عند الطلب. ولا تذكر بطاقة المجموعة رخصة SPDX خاصة بها، فشروط مادة SlimPajama-627B الأساسية وشروط الطلب نفسه هي ما يحكم الاستعمال؛ ولذلك تُرك حقل الترخيص في هذه الصفحة فارغًا عمدًا بدل تخمينه.

توثّق ورقة «مترجم» نموذج الترجمة ومنهج تدريبه من مرحلتين ومعيار Tarjama-25 المنشور معه؛ وتوثّق ورقة Kuwain النموذجَ الأساس الذي بُني عليه «مترجم». وMSDD هي النسخة الشقيقة من مسار الويب.