Replies: 2 comments
-
|
5090高CPU使用率的根本原因通常不是vllm推理本身,而是PDF转图片的预处理步骤,这一步是纯CPU密集型的,使用了pypdfium2和PIL,并且默认用Python多进程(multiprocessing),会瞬间吃满高核数机器的CPU资源,尤其是5090这类高端机型。4090上不明显,主要是因为CPU核心数和负载分配不同。限制CPU线程数只是临时缓解,实际瓶颈还是在图片预处理[分析]。 优化建议:
如果你用的是Docker,务必确认用的是支持Blackwell架构的vllm镜像(推荐 最后,OMP_NUM_THREADS只影响OpenMP相关的C/C++库线程池,对Python多进程无效,不建议用来控制此类CPU占用[解释]。 如需更灵活控制,建议后续关注是否支持通过环境变量直接配置PDF图片预处理的线程数。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other |
Beta Was this translation helpful? Give feedback.
-
|
你遇到的5090高CPU使用率问题,根本原因不是vllm推理本身,而是PDF转图片的预处理步骤,这一步是纯CPU密集型的(用pypdfium2和PIL,默认用Python多进程,通常4进程,但在高核数机器上会瞬间吃满所有CPU核)详见分析。4090机器上不明显,是因为CPU核心数和负载分配不同。 目前可行的优化和缓解措施有:
注意:设置 如果用Docker,务必确认vllm镜像支持Blackwell架构(如 目前没有代码层面对5090和4090做特殊处理,瓶颈主要在预处理阶段。后续如需灵活控制线程数,建议关注相关代码更新。 To reply, just mention @dosu. How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other |
Beta Was this translation helpful? Give feedback.
Uh oh!
There was an error while loading. Please reload this page.
-
🔎 Search before asking | 提交之前请先搜索
🤖 Consult the online AI assistant for assistance | 在线 AI 助手咨询
Description of the bug | 错误描述
minerU版本:2.7
gpu:RTX5090
使用vllm启动,CPU使用率在识别时会突然飚的很高,后改用docker镜像也会出现同样的现象。
但是这个问题在4090的机器上出现的很少。
目前暂时在启动时限制了CPU的线程数。
How to reproduce the bug | 如何复现
minerU版本:2.7.1
gpu:RTX5090
CPU使用率在识别时会突然飚的很高
Operating System Mode | 操作系统类型
Linux
Operating System Version| 操作系统版本
Ubuntu 22.04
Python version | Python 版本
3.13
Software version | 软件版本 (mineru --version)
>=2.5Backend name | 解析后端
vlm
Device mode | 设备模式
cuda
Beta Was this translation helpful? Give feedback.
All reactions