ARABIC: Wrong language or dialect or script

[alielfilali01]

Hey team,
As part of the Argilla FineWeb-C sprint, we are annotating arabic and its dialects. MSA, ARY and ARZ.
The problem for all of them is being miscallafied most of the time.
For example, annotators in arabic report most data is not arabic but rather dialects with a lot of Arabizi (usage of latin script). In dialects, people report that most of the samples are in fact in arabic MSA !
This mismatch leads to labeling most of the data as problematic.
cc: @nataliaElv

[abedkhooli]

Following my last comment on HF discussion, I briefly inspected the standard Arabic subset:
fwa = load_dataset("HuggingFaceFW/fineweb-2", name="arb_Arab", split="train", streaming=True)
and noted several issues: English terminology, blocks of English, encoded text, dialects, Latin chars .. etc. This is likely to be the same with dialect subsets. I am not sure if text flow (in its final form in FW2) is correct (ex. an English term follows the Arabic word or a table can be reconstructed) but I also think stripping non-Arabic terms is not a good idea (lost context and readability).
I don't have a definite answer on how to proceed. This needs a good and thorough discussion. Maybe we can combine all Arabic subsets and clean them in several sprints. For example, in first step we classify if text is pure standard, with En terms, mixed dialects, pure ary, pure ars, pure arz ... etc.

[guipenedo]

Indeed, it seems there are quite a few problems with arabic text.

Regarding code switching/interspersed english text with arabic content, this is not necessarily bad content and could definitely still be helpful for a model trained on this language.

For the latin script, I believe the "arabic" label on the annotation space is actually "arb_Latn" and "arb_Arab" is separated under a different label, could this be why people reported such a high amount of Arabizi?

[alielfilali01]

Hey @guipenedo
For arabizi it was reported to be found on the Arb_Arab subset

[guipenedo]

Hey @guipenedo
For arabizi it was found on the Arb_Arab subset

Was it interspersed with text in Arab script or are the full documents in Latin script?

[abedkhooli]

There seems to be an issue with language detector. It may sample from the start of the text. The cases I saw were mixed but even for pure standard Arabic, I saw language scores under 0.75. Here's an example:

('كتب أحمد فؤاد\n'
 'يختتم منتخب مصر الأول تدريباته في ليبيريا اليوم، بقيادة البرتغالي روي '
 'فيتوريا السبت، استعدادا لمواجهة سيراليون فى الجولة الثانية من التصفيات '
 'الأفريقية المؤهلة لكأس العالم المقبل 2026، ويخوضها المنتخب وهذا ضمن منافسات '
 'المجموعة الأولي مع سيراليون وجيبوتي وإثيوبيا وغينيا وبوركينا فاسو.\n'
 'وقد أبدع المنتخب الوطني فى ليلة اكتساح جيبوتي بسداسية فى بداية المشوار '
 'بتصفيات كأس العالم، في مواجهة وقد شهدت تسجيل السوبر محمد صلاح للسوبر هاتريك '
 'الأول فى تاريخه مع المنتخب الوطني، وأيضا شهدت توقيع مصطفى محمد وزيزو على هدف '
 'لكل منهما، ليتصدر المنتخب مجموعته في التصفيات مؤقتًا.\n'
 'كما يلتقي منتخب مصر مع سيراليون فى السادسة مساء الأحد المقبل بتوقيت القاهرة '
 'فى ليبيريا لعدم صلاحية ملاعب سيراليون لاستضافة مباريات على أرضها حسب تعليمات '
 'الاتحاد الدولي لكرة القدم.\n'
 'وقد تعادل منتخب إثيوبيا بدون أهداف، مع نظيره منتخب سيراليون، فى اللقاء الذى '
 'جمعهما مساء الأربعاء، على ملعب "بن أحمد العبدي" فى المغرب، وهذا ضمن منافسات '
 'الجولة الأولى بالمجموعة الأولى، فى تصفيات كأس العالم 2026.\n'
 'وقد قرر البرتغالي روي فيتوريا، المدير الفني لمنتخب مصر الأول لكرة القدم، '
 'استبعاد 3 لاعبين من معسكر المنتخب الذي يواصل استعداداه لمباراة سيراليون، '
 'وهذا بعد عدم استكمال الثلاثي طارق حامد وإمام عاشور وحسين الشحات الحصة '
 'التدريبية التى أعقبت مباراة جيبوتي مع عدد من اللاعبين الذين لم يشاركوا في '
 'المباراة، ليغادر الثلاثي معسكر الفريق.\n'
 'وقد حقق منتخب مصر فوزًا عريضًا أمام جيبوتى، بستة أهداف دون رد، فى اللقاء '
 'الذى جمعهما مساء الخميس، على استاد القاهرة، فى إطار منافسات الجولة الأولى من '
 'التصفيات المؤهلة إلى كأس العالم 2026، من المجموعة الأولى عن قارة أفريقيا.')