关于 MinerU 2.5 与 vLLM 新版本兼容性的公告

[myhloli]

近日，我们正式发布了性能显著提升的 MinerU 2.5 模型，并将推理加速框架从 sglang 切换至 vLLM。此次升级旨在借助 vLLM 更为丰富的生态支持，增强对主流平台的兼容性，让更广泛的用户能够便捷地使用当前最先进的文档解析能力。

在 vLLM 最新发布的 0.10.2 版本中，其 V1 引擎终于实现了对 Turing 架构及更早显卡的支持，这为我们拓展硬件兼容性提供了重要契机。然而，该版本将依赖的 PyTorch 升级至 2.8.0。我们此前已在社区中发现（详见 GitHub Discussion #3337），PyTorch 2.8.0 与我们的 pipeline 后端 存在一定的兼容性问题，因此早期我们将 PyTorch 版本上限限制为 <2.8.0。

为了让更多用户能够顺利体验 MinerU 2.5 的强大性能，我们在最新版本中解除了对 PyTorch 的版本上限限制，并投入大量工作以适配 PyTorch 2.8.0，力求在保证功能稳定的前提下最小化性能损耗。尽管如此，部分兼容性问题仍难以完全避免，例如：

• OCR 处理速度出现轻微下降；
• 极少数情况下页面阅读顺序可能出现错乱。

为此，我们针对不同部署方式的用户提出以下建议，以帮助您获得最佳使用体验：

🔧 使用 uv / pip 直接安装的用户

若您主要使用 pipeline 后端 并遇到上述问题，推荐通过降级 PyTorch 至 2.7.1 来规避兼容性问题：

uv pip install torch==2.7.1 torchvision

此版本与当前 pipeline 后端兼容性最佳，可恢复原有性能表现。

🐳 使用 Docker 部署的用户

当前 Dockerfile 默认采用的基础镜像为 vllm/vllm-openai:v0.10.1.1，其内置 PyTorch 2.7.1，因此不会受到 PyTorch 2.8.0 兼容性问题的影响，推荐大多数用户直接使用。

仅当同时满足以下两个条件时，建议切换至 vLLM 0.10.2 镜像：

1. 使用 Turing 或更早架构的显卡；
2. 需要通过 vLLM 加速 VLM 推理。

此时，可将基础镜像替换为：

vllm/vllm-openai:v0.10.2

---

我们始终致力于在性能、兼容性与稳定性之间取得最佳平衡。感谢您的理解与支持，欢迎继续通过 GitHub 提交反馈，共同推动项目发展。

—— MinerU 团队

[ruknow]

在 vLLM 最新发布的 0.10.2 版本中，其 V1 引擎终于实现了对 Turing 架构及更早显卡的支持。

仅当同时满足以下两个条件时，建议切换至 vLLM 0.10.2 镜像：
使用 Turing 或更早架构的显卡；

这里应该是更新架构的显卡？

[myhloli]

我只在turing上做了测试，按理说还有volta也要用0.10.2，我没有新的blackwell卡，按理说0.10.1.1是支持新卡的吧

[myhloli]

V1 engine maturation: Extended V1 support to compute capability < 8.0 #23614 #24022, added cross-attention KV cache for encoder-decoder models #23664, request-level logits processor integration #23656, and KV events from connectors #19737.

source

这里用更早是正确的，因为vllm是从后向前做的兼容

[Simonqujian78]

我是5090D显卡，昨天用了，但是发现vllm下，总是提示错误（已发issue），用pipeline则显存占用4G，内存占用较大，是什么原因。

[myhloli]

我们没有blackwell显卡，没法测试，建议在vllm社群自行查询相关信息尝试解决

[ye7love7]

请问用mineru-vllm-server --port 30000启动后，目前有没有现成的fastapi脚本启动一个服务，而不是用mineru -p -o -u这种方式

[myhloli]

可以使用mineru-api，并在http请求中指定backend 为vlm-http-client来连接server使用

[ye7love7]

我写了个pr，支持同步和异步任务 没仔细看mineru-api，指定vlm-http-client，可以同时指定url？

…

---原始邮件--- 发件人: "Xiaomeng ***@***.***&gt; 发送时间: 2025年10月11日(周六) 晚上7:44 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [opendatalab/MinerU] 关于 MinerU 2.5 与 vLLM 新版本兼容性的公告 (Discussion #3547) 可以使用mineru-api，并在http请求中指定backend 为vlm-http-client来连接server使用 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;

[myhloli]

可以的，而且也是原生异步支持的

[ye7love7]

官方说明文档介绍有点简陋，我的pr脚本感觉更符合我自己的生产环境，任务池跟官方api比较像，返回内容也是纯md。 我之前一直用cpu跑这个mineru-api，做普通模型pipeline，这几种backend参数有点乱，是否抽时间整理一下说明文档

…

---原始邮件--- 发件人: "Xiaomeng ***@***.***&gt; 发送时间: 2025年10月11日(周六) 晚上7:56 收件人: ***@***.***&gt;; 抄送: ***@***.******@***.***&gt;; 主题: Re: [opendatalab/MinerU] 关于 MinerU 2.5 与 vLLM 新版本兼容性的公告 (Discussion #3547) 可以的，而且也是原生异步支持的 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;

[accjiyun]

我们用的vllm:0.10.2，pytorch==2.8.0+cu128，vllm-async-engine后端，好像没发现兼容性问题

[wangxun6]

我们现在有的比较老的显卡，V100的，vlm模式能启动吗？

[bash99]

就我个人测试，VLLM 0.10.2和0.11.0对 Turing (2080ti) 或者 Volta (V100)架构的支持有严重的性能 regress，参考 vllm-project/vllm#25528

而在2080ti上，如果用sglang 0.5.0rc2 启动 vlm-server，我实际测试解析一个28页的pdf，用时只有vllm 0.11.0 (对应 mineru 2.6.2版本 )的1/3。

sglang 安装和启动方式

1. 首先使用uv或者conda准备单独环境并安装好uv，然后执行

uv pip install "sglang[all]==0.5.0.rc2" flashinfer-python

2. 另外下载MinerU2.5-2509-1.2B 到本地目录，然后编辑sglang.sh启动脚本如下

#!/bin/bash

unset http_proxy https_proxy

MODEL_PATH=./MinerU2.5-2509-1.2B
MODEL_NAME=MinerU2.5-2509-1.2B

CUDA_VISIBLE_DEVICES=0 python -m sglang.launch_server --model-path $MODEL_PATH --served-model-name $MODEL_NAME --trust-remote-code --dtype half --enable-p2p-check --mem-fraction-static 0.6 --chunked-prefill-size 8192 --context-length 16384 --max-running-requests 32 --host 0.0.0.0 --port 30000 --enable-metrics --cuda-graph-max-bs 32 --disable-outlines-disk-cache --grammar-backend xgrammar --enable-torch-compile

最后启动之后，效果和跑了mineru-vlm-server 在30000是一致的。

[yellow123Nike]

支持N卡吗？请问

[bash99]

支持N卡吗？请问

上面不是说的是 2080ti 这个N卡吗？