load_images_from_pdf 的过程中使用一个私有的进程池并行加载图片是如何考量的？

[AndrewTsao]

尊敬的MinerU老师，请问一下，我们的在每一篇PDF处理过程中，进行加载Images的时候，为什么都单独创建一个进程池进行并行处理。
当批量请求时，是不是会创建大量的进程池，远超过机器的核数量，导致效率下降。
如果做为服务器模式，是否可以将这个进程池单独提出来？或者我们这样设计是出于什么样的考量，能够解释一下，谢谢。

[Liang200018]

目前我看到的是pypdfium2不是线程安全的，有一些全局公共的状态，所以用进程处理了

[AndrewTsao]

谢谢老师回答。我的意思是没有单独创建一个固定进程池处理加载任务。而是每个pdf单独创建新的进程池，这会导致多个请求到来时，会创建出很多进程池，总进程数量可能远超cpu的核数，造成cpu资源争抢。

[myhloli]

load images的操作时长一般只占文档总解析时长的1%，基本不会出现多个任务卡在这的情况

[myhloli]

通常情况下load images耗时为1%左右，在图片分辨率异常高或单核cpu性能极差的情况下耗时可能会增加，可以根据以上两点进行自查

[Liang200018]

您好，如果耗时比较长（可能是分辨率比较大或其他原因），能否减掉图片转pdf，pdf再转图片Pillow格式的这个过程，直接读取图片进行处理。

[myhloli]

可以考虑自行对图像进行缩放预处理，过高的分辨率并不能带来更高的识别精度

[AndrewTsao]

是不是因为我们是单独将api服务和vllm分离，导致这部分在api服务中占比超1%很多，观察下来大部分时间是加载图片和保存文件，而loli老师是从请求并vllm推理时间一起计算得出的结论？

[myhloli]

要算推理的，不然都是io了就