使用 inference_hf.py 推理异常

[Xiaoshu-Zhao]

我希望在本地用wsl2运行 llama3。我参考了 ReadMe 里面的用 hugging face 推理的方法，运行代码如下：

/mnt/c/Users/zhaox/OneDrive/桌面/code/llm/scripts$ python3 inference_hf.py \
    --base_model /mnt/c/Users/zhaox/OneDrive/桌面/code/llm/models/origin_model/llama-3-chinese-8b-instruct-v2 \
    --with_prompt \
    --interactive

发现推理的时候会卡住，显卡的占用率也很低。

请问是什么问题呢