Skip to content

Commit a61cfa6

Browse files
[readme] Revise bitsandbytes installation instructions in README (#10621)
Co-authored-by: gemini-code-assist[bot] <176961590+gemini-code-assist[bot]@users.noreply.github.com>
1 parent 7a83d28 commit a61cfa6

1 file changed

Lines changed: 18 additions & 1 deletion

File tree

README_zh.md

Lines changed: 18 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -559,7 +559,24 @@ python -c "import torch; print(torch.cuda.is_available())"
559559

560560
#### 安装 BitsAndBytes
561561

562-
如果要在 Windows 平台上开启量化 LoRA(QLoRA),需要安装预编译的 `bitsandbytes` 库, 支持 CUDA 11.1 到 12.2, 请根据您的 CUDA 版本情况选择适合的[发布版本](https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels)
562+
如果要在 Windows 平台上开启量化 LoRA(QLoRA),需要安装 bitsandbytes。
563+
564+
对于大多数用户,建议优先使用官方发布的最新版本:
565+
566+
```bash
567+
pip install bitsandbytes
568+
```
569+
570+
如果使用 uv 管理虚拟环境,建议在安装好 GPU 版本 PyTorch 之后,再执行:
571+
572+
```bash
573+
uv pip install bitsandbytes --no-deps
574+
```
575+
576+
> [!IMPORTANT]
577+
> 安装 bitsandbytes 时,请注意 CUDA Toolkit 版本。bitsandbytes 的官方发布包是按不同 CUDA 版本分别构建的,Windows x86-64 目前提供了面向 CUDA 11.8–12.6 和 CUDA 12.8–12.9 的不同构建;其中支持 RTX 50 系列(如 RTX 5060 Ti,sm_120)的构建对应 CUDA 12.8–12.9。
578+
579+
若当前环境的 CUDA 版本较旧,或者需要兼容较老的 Windows / PyTorch 组合,可以使用第三方预编译版本:
563580

564581
```bash
565582
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

0 commit comments

Comments
 (0)