Does it support Windows + AMD GPU?

[zengzhong1990]

Windwos11+6800XT

[Na-Yun1990]

要让ktransformers支持AMD的ROCM，需要完成以下步骤：

1. 安装ROCM环境：

   • ROCM是AMD的GPU计算平台，类似于NVIDIA的CUDA。首先，确保你的系统是Linux，因为ROCM目前仅支持Linux。
   • 安装AMD显卡驱动和ROCM软件包。可以通过以下命令安装：

     sudo apt-get update
     wget https://repo.radeon.com/amdgpu-install/5.3/ubuntu/focal/amdgpu-install_5.3.50300-1_all.deb
     sudo apt-get install ./amdgpu-install_5.3.50300-1_all.deb
     sudo amdgpu-install --usecase=hiplibsdk,rocm --no-dkms

   • 安装完成后，重启系统并测试ROCM是否安装成功，使用rocminfo或rocm-smi命令查看GPU信息。

2. 安装PyTorch支持ROCM：

   • 安装支持ROCM的PyTorch版本。可以通过以下命令安装：

     pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.4.2

   • 确保安装的PyTorch版本与ROCM版本兼容。

3. 配置ktransformers：

   • 克隆ktransformers仓库并进入目录：

     cd /path/to/ktransformers

   • 修改install.sh脚本，确保编译时使用ROCM支持的配置。可能需要添加或修改环境变量，例如：

     export CMAKE_ARGS="-DUSE_ROCM=ON"

   • 运行安装脚本：

     sh install.sh

   • 安装完成后，运行ktransformers时，确保设置正确的环境变量，例如：

     export HIP_VISIBLE_DEVICES=0
     python ./ktransformers/local_chat.py --model_path /path/to/model --gguf_path /path/to/gguf --cpu_infer 64 --max_new_tokens 1000

4. 测试与验证：

   • 运行ktransformers并检查日志，确保GPU被正确识别和使用。
   • 如果遇到问题，可以查看ROCM和PyTorch的官方文档，或根据错误信息调整配置。

通过以上步骤，ktransformers应该能够支持AMD的ROCM平台。如果遇到具体问题，可以参考ROCM和ktransformers的官方文档进行进一步调试。

I do not know if it is possible.This answer is from ai.You can try it.I hope it is useful.