本地 VLLM 引擎的MinerU怎么控制并发数呀？如何在脚本调用中实现

[BaBaoZhooou]

请问本地 VLLM 引擎的MinerU怎么控制并发数？如何能在脚本调用中实现？并发调用的显存占用大约是多少呀？🙏 help

[dosubot[bot]]

Hi @BaBaoZhooou! I'm Dosu and I’m helping the MinerU team.

本地 VLLM 引擎的 MinerU 并发控制方法如下：

1. 并发参数设置
   MinerU 支持将所有 vllm 官方参数直接传递给后端，包括 --max-concurrency（最大并发数）、--gpu-memory-utilization（单进程显存占用比例）、--data-parallel-size（多卡并行度）等。你可以在命令行或脚本调用时通过 kwargs 传递这些参数。例如：

CUDA_VISIBLE_DEVICES=0 mineru-openai-server --engine vllm --port 30000 --max-concurrency 20 --gpu-memory-utilization 0.5

或

from mineru import MinerUClient
client = MinerUClient(backend="vllm-engine", model_path="your_model_path", max_concurrency=20, gpu_memory_utilization=0.5)

参数说明和建议：

• --max-concurrency 默认 100，建议根据显卡能力调整（如 10-50）参考。
• --gpu-memory-utilization 控制每进程预分配的显存比例，8GB 卡建议 0.7，16GB 卡建议 0.5，显存紧张时可降至 0.4 或更低 参考。
• --data-parallel-size 用于多卡并行，需与 CUDA_VISIBLE_DEVICES 保持一致 参考。

2. 脚本/服务并发实现

• 推荐用“服务+API分离”架构：先启动 mineru-vllm-server，再用 mineru-api 或脚本通过 HTTP 客户端（-b vlm-http-client）转发请求，这样只加载一次模型，显存利用率高，支持高并发 参考。
• 本地多进程并发建议不超过 2-3 个 MinerU 实例，否则容易显存冲突 参考。
• 不支持同一进程内多线程/多协程并发，会导致数据混乱或崩溃。

3. 显存占用估算

• 显存消耗与模型大小、batch_size、并发数等强相关。8GB 显存推荐 batch_size=4，16GB 推荐 batch_size=8。实际并发能力需结合具体模型和任务测试 参考。
• --gpu-memory-utilization 直接影响每进程预分配的显存比例，建议根据实际情况多次尝试，遇到 OOM 可适当降低。
• 处理大文件时建议用 --max-convert-pages、--start、--end 分批，避免单次任务占用过多显存。

4. 环境变量建议

• CUDA_VISIBLE_DEVICES 指定可用 GPU。
• OMP_NUM_THREADS=1 避免多卡并发死锁。
• MINERU_API_MAX_CONCURRENT_REQUESTS 可限制 API 层最大并发（对推理进程无直接作用）。

常见命令示例：
单卡高并发：

CUDA_VISIBLE_DEVICES=0 mineru-openai-server --engine vllm --max-concurrency 20 --gpu-memory-utilization 0.5

多卡并发：

CUDA_VISIBLE_DEVICES=0,1 mineru-openai-server --engine vllm --data-parallel-size 2 --max-concurrency 40 --gpu-memory-utilization 0.5

API 层并发限制：

export MINERU_API_MAX_CONCURRENT_REQUESTS=10
mineru-api --host 0.0.0.0 --port 8000

注意事项：

• MINERU_VIRTUAL_VRAM_SIZE 仅对 pipeline 后端有效，对 vllm 后端无效。
• 建议升级到 MinerU 2.6.1+ 获得更优的显存管理和并发体验。
• 详细参数可参考 官方文档。

如需更细致的显存/并发调优，建议结合实际模型和任务场景多次测试，监控 GPU 利用率和系统日志。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}