[Question]: 在使用CASIA手写数字训练集对PaddleOCR-VL进行LoRA微调后出现知识遗忘。 #3982
Description
请提出你的问题
在使用CASIA手写数字训练集对PaddleOCR-VL进行LoRA微调后，模型对数字字符的识别能力有了较为显著的提升。例如，原本将测试样本中的手写数字“7”误识别为“1”，经过微调后能够正确识别。但是微调后也伴随着知识遗忘问题：模型对部分手写汉字的识别能力出现下降，例如原本可以正确识别的“寿”字，在微调后被误识别为“春”。请问如何能尽量避免LORA微调合并后的遗忘。