vlm模式下OOM

[duanxin888]

你好，目前我的GPU显存7.5G，内存16G，vlm模式下解析单页PDF，出现OOM现象，有办法优化吗？模型启动后需要占用6G左右，有办法优化吗？

[dosubot[bot]]

Hi @duanxin888! I'm Dosu and I’m helping the MinerU team.

你的硬件（7.5G 显存、16G 内存）在 VLM 模式下确实容易 OOM，哪怕只处理单页高分辨率 PDF。主要原因是模型本身启动就占用约 6G 显存，剩余空间很有限，PDF 转图片分辨率高或内容复杂时，显存和内存消耗会进一步增加。此外，VLM 模型采用单例缓存机制，clean_memory 只能清理 PyTorch 缓存，无法彻底释放模型本身占用的显存，只有重启进程才能完全释放详细说明。

优化建议如下：

1. 降低 KV 缓存占用：启动 mineru-sglang-server 时加参数 --mem-fraction-static 0.4（甚至 0.3），多次尝试直到显存占用稳定为止参考。
2. 降低图片分辨率：PDF 转图片时最大像素边长默认 3500，可在 mineru/utils/pdf_reader.py 里调小，比如 2000~2500，能显著降低显存和内存消耗，但会影响识别精度参考。
3. 分批处理：大文件用 --max-convert-pages、--start、--end 等参数分批处理，避免一次性加载过多内容参考。
4. 定期重启服务：由于模型缓存机制，部分显存（约 2G）常驻，建议定期重启 mineru-api 或相关进程，彻底释放显存参考。
5. 监控资源：用 nvidia-smi、top 等工具实时监控显存和内存，发现异常及时重启。
6. batch size 自动适配：代码会根据显存自动设置 batch size，7.5G 显存下 batch size 会降到 1，已是最小参考。

注意事项：

• MINERU_VIRTUAL_VRAM_SIZE、--gpu-memory-utilization 等参数对 VLM/vllm/sglang-engine 后端无效，仅对 pipeline 有效参考。
• 目前不支持用户自定义量化/精度（如 FP16/INT8）或卸载部分组件，相关能力需底层引擎支持。
• 16G 内存对大批量/大文件场景偏低，但单页 PDF 一般不会触发 RAM OOM，除非内容极其复杂或有内存泄漏。

如果以上方法仍无法解决，建议尝试更低分辨率、分批处理，或升级硬件资源。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}

   

[duanxin888]

我能否改用vlm-http-client模型，接入第三方模型（云厂商）

[myhloli]

可以尝试使用colab的免费T4 gpu，https://colab.research.google.com/gist/myhloli/a3cb16570ab3cfeadf9d8f0ac91b4fca/mineru_demo.ipynb