麻烦大家看看:在部署模型的时候显示量化图层失败的信息,以及Trying to set a tensor of shape torch.Size([257, 1024]) in "weight" (which has shape torch.Size([1226, 1024])), this look incorrect错误。
目前找了网上的方法,说Transformers更新,我按照了官方文档的要求更新为pip install auto_gptq transformers==4.33.1了,也还是报同样的错。

