We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
There was an error while loading. Please reload this page.
1 parent 889aab0 commit 7b42231Copy full SHA for 7b42231
README.md
@@ -24,3 +24,6 @@ celery要用到这个,放celery的各种配置,以及对celery的封装
24
提供接口将结果进行统一管理
25
任务并发依靠框架,用的时候只需配置即可
26
27
+整体思路
28
+master 会来管理控制slave的执行,调度。主要依靠supervisor+一个http服务实现
29
+具体的每个slave执行相应的celery进程,爬虫通过sdk集成到服务中进行统一管理
0 commit comments