train_llava 训练好以后出现空格

[wrsnice]

不管英文还是中文数据训练，都出现空格，并且推理信息很少，跟你发布的模型差异很大。

只使用了LLava的数据，没使用另外两个。训练了1个epoch，loss在2.6左右。

[yuanzhoulvpi2017]

这是你电脑字体问题吧

[yuanzhoulvpi2017]

别人也有反映，因此我看了一下。
出现这个错误，主要是因为preprocessor_config.json文件下: "processor_class": "LlavaProcessor",❌，这种是错误的。

这个值正确的为： "processor_class": "LlavaProcessor",✅

对比一下

❌错误的效果

✅正确的效果

建议调整一下这个参数设置，对应好之后，再训练一下。

[hangfomo]

我把preprocessor_config.json文件改成和上面一样，但是还是报错
The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization.
The tokenizer class you load from this checkpoint is 'Qwen2Tokenizer'.
The class this function is called from is 'LlamaTokenizerFast'.

[zesen01]

我把preprocessor_config.json文件改成和上面一样，但是还是报错 The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization.从此检查点加载的标记器类与调用此函数的类的类型不同。这可能会导致意外的标记化。 The tokenizer class you load from this checkpoint is 'Qwen2Tokenizer'.从此检查点加载的标记器类是“Qwen2Tokenizer”。 The class this function is called from is 'LlamaTokenizerFast'.调用此函数的类是“LlamaTokenizerFast”。

在按照jupyter文件进行第二步时，一定要重启！希望这个提示可以帮助到你