支持并发吗？

[zhoushi1]

支持并发吗？

[Gavin1937]

不支持。本引擎前端的umiocr也只是把并发请求缓存进一个队列里然后依次发个PaddleOCR-json来处理。
因此推荐自行部署PaddleOCR然后支持并发

[zhoushi1]

我原本是在项目启动的时候初始化了多个实例放到Quote，然后每次从Quote里取实例，用完再放进去，但是发现太占内存了，就放弃了这种方式。

[Gavin1937]

可以参考下面两种实现方式：

1. 通过外部管理程序来管理队列（umiocr的方法）：
   • 用另一个程序来向外暴露接口，然后把收到的ocr任务缓存进队列
   • 接着打开一个PaddleOCR-json子进程
   • 最后再按顺序将队列内的任务依次发给PaddleOCR-json，逐个处理。
2. 如果您的系统配置足够高的话可以基于上面的方案更进一步：
   • 在外部管理程序里同时打开多个PaddleOCR-json子进程，然后通过参数来限制它们的线程与内存占用。
   • 最后给管理程序加一个简单的负载均衡系统来充分利用所有的子进程。
   • 不过这个方法也有弊端：如果一个子进程收到了一个负载特别重的任务，之前给它的线程与内存的限制就会拖慢推理的速度，严重时甚至令其崩溃
   • 不过只要管理程序能自动重启子进程，那崩溃也不是什么大问题。

更多关于内存占用的内容请看这里

如果您希望直接创建PaddleOCR::Task实例来实现并发ocr的话，同样也能用上文的两种方法，只不过是把外部管理程序做进PaddleOCR-json内部。
请注意无论您使用那种方法，都需要管理好进程/实例的线程和内存占用，如果占用的资源超出实际上限的话就会拖慢推理速度，甚至导致崩溃。

另外，还是推荐您自行部署PaddleOCR，这样可以更方便的搭建您的并发系统，而且也能使用官方最新的PPOCR-v5模型和gpu推理