problem with tokenizing as a pos tagger

[ghazal-hemmati]

I'm trying to test your library for pos tagging today. In short sentences it works fine. but when it comes to paragraphs, it has a problem with tokenizing.
here's my code:
import hezar
from hezar.models import Model
pos_model = Model.load("hezarai/bert-fa-pos-lscp-500k") # Part-of-speech
inputs = ["در تبادل مانده انتقالی کاربر پیغام خطای کد ملی وارد شده مرتبط با این عملیات نمی‌باشد دریافت می‌گردد در تمامی فعالیتهایی که منجر به ایجاد مانده انتقالی می‌شوند شناسه مشتری کدملی/ شناسه ملی در فرم پولشویی از اطلاعات قبلی بازیابی نشده و کاربر ملزم به درج شناسه مشتری کدملی/ شناسه ملی در فرم پولشویی برای فعالیت بعدی می‌باشد جهت استعلام کدملی مربوط به مانده ایجادی می‌بایست از طریق سامانه بک آفیس پشتیبانی فنی بازیابی اطلاعات شناسه مشتری تسک انتقالی اقدام گردد"]
pos_outputs = pos_model.predict(inputs)
print(f"POS: {pos_outputs}")
here's the output:
POS: [[{'token': 'در', 'label': 'P'}, {'token': 'تبادل', 'label': 'Ne'}, {'token': 'مانده', 'label': 'Ne'}, {'token': 'انتقالی', 'label': 'AJe'}, {'token': 'کاربر', 'label': 'N'}, {'token': 'پیغام', 'label': 'Ne'}, {'token': 'خطای', 'label': 'Ne'}, {'token': 'کد', 'label': 'Ne'}, {'token': 'ملی', 'label': 'AJ'}, {'token': 'وارد', 'label': 'N'}, {'token': 'شده', 'label': 'V'}, {'token': 'مرتبط', 'label': 'AJ'}, {'token': 'با', 'label': 'P'}, {'token': 'این', 'label': 'DET'}, {'token': 'عملیات', 'label': 'N'}, {'token': 'نمی', 'label': 'V'}, {'token': ' ', 'label': 'V'}, {'token': 'باشد', 'label': 'V'}, {'token': 'دریافت', 'label': 'N'}, {'token': 'می', 'label': 'V'}, {'token': ' ', 'label': 'V'}, {'token': 'گردد', 'label': 'V'}, {'token': 'در', 'label': 'P'}, {'token': 'تمامی', 'label': 'DETe'}, {'token': 'فعالیتهای', 'label': 'N'}, {'token': 'ی', 'label': 'N'}, {'token': 'که', 'label': 'CONJ'}, {'token': 'منجر', 'label': 'AJ'}, {'token': 'به', 'label': 'P'}, {'token': 'ایجاد', 'label': 'Ne'}, {'token': 'مانده', 'label': 'Ne'}, {'token': 'انتقالی', 'label': 'AJ'}, {'token': 'می', 'label': 'V'}, {'token': ' ', 'label': 'V'}, {'token': 'شوند', 'label': 'V'}, {'token': 'شناسه', 'label': 'Ne'}, {'token': 'مشتری', 'label': 'N'}, {'token': 'کدم', 'label': 'Ne'}, {'token': 'لی', 'label': 'Ne'}, {'token': ' ', 'label': 'Ne'}, {'token': ' شناس', 'label': 'Ne'}, {'token': ' مل', 'label': 'AJ'}, {'token': ' د', 'label': 'P'}, {'token': ' فر', 'label': 'Ne'}, {'token': ' پولشوی', 'label': 'N'}, {'token': ' ا', 'label': 'P'}, {'token': ' اطلاعا', 'label': 'Ne'}, {'token': ' قبل', 'label': 'AJ'}, {'token': ' بازیاب', 'label': 'N'}, {'token': ' نشد', 'label': 'V'}, {'token': ' ', 'label': 'CONJ'}, {'token': ' کارب', 'label': 'N'}, {'token': ' ملز', 'label': 'AJ'}, {'token': ' ب', 'label': 'P'}, {'token': ' در', 'label': 'Ne'}, {'token': ' شناس', 'label': 'Ne'}, {'token': ' مشتر', 'label': 'N'}, {'token': ' کد', 'label': 'Ne'}, {'token': 'مل', 'label': 'Ne'}, {'token': 'ی', 'label': 'Ne'}, {'token': '/ شنا', 'label': 'Ne'}, {'token': 'ه م', 'label': 'AJ'}, {'token': 'ی ', 'label': 'P'}, {'token': 'ر ف', 'label': 'Ne'}, {'token': 'م پولشو', 'label': 'N'}, {'token': 'ی بر', 'label': 'Pe'}, {'token': 'ی فعال', 'label': 'Ne'}, {'token': 'ت بع', 'label': 'AJ'}, {'token': 'ی ', 'label': 'V'}, {'token': 'م', 'label': 'V'}, {'token': 'ی با', 'label': 'V'}, {'token': 'د ج', 'label': 'Pe'}, {'token': 'ت استعل', 'label': 'Ne'}, {'token': 'م ک', 'label': 'AJe'}, {'token': 'دم', 'label': 'AJe'}, {'token': 'ی مرب', 'label': 'AJ'}, {'token': 'ط ', 'label': 'P'}, {'token': 'ه مان', 'label': 'Ne'}, {'token': 'ه ایج', 'label': 'AJ'}, {'token': 'ا', 'label': 'AJ'}, {'token': 'ی ', 'label': 'V'}, {'token': 'م', 'label': 'V'}, {'token': 'ی بای', 'label': 'V'}, {'token': 'ت ', 'label': 'P'}, {'token': 'ز طر', 'label': 'Ne'}, {'token': 'ق ساما', 'label': 'Ne'}, {'token': 'ه ', 'label': 'N'}, {'token': 'ک', 'label': 'N'}, {'token': ' آف', 'label': 'N'}, {'token': 'س پشتیبا', 'label': 'Ne'}, {'token': 'ی ف', 'label': 'AJ'}, {'token': 'ی بازیا', 'label': 'Ne'}, {'token': 'ی اطلاع', 'label': 'Ne'}, {'token': 'ت شنا', 'label': 'Ne'}, {'token': 'ه مشت', 'label': 'N'}, {'token': 'ی ت', 'label': 'Ne'}, {'token': 'ک انتقا', 'label': 'AJ'}, {'token': 'ی اقد', 'label': 'N'}, {'token': 'م گر', 'label': 'V'}]]
as you see for no reason from somewhere of code, it tokenized insensible. like: ه م, مل, شنا

[arxyzan]

Hi @ghazal-hemmati thanks for submitting the issue.

This seems strange. I'd check this out. I first try to only tokenize the input and if the tokens are exactly what the POS model is predicting, this means that the tokenizer is unable to properly tokenize the sentences which is unlikely. I think the problem lies in the post processing logic. I'll let you know.

[arxyzan]

Hi again @ghazal-hemmati , sorry for the delay.
I found that the problem is for some special patterns in the text that makes the offsets mapping of the tokenizer to get messed up. It seems that the offsets mapping (coming from the HF tokenizer's backend) are not actually reliable to reconstruct the original text. I'll work on it to fix it somehow.
FYI, if you put a space between / and the text sticking to it, the problem does not occur.

[arxyzan]

Too late but the problem is fixed in the new release https://github.com/hezarai/hezar/releases/tag/0.43.0