Skip to content

Commit 7b42231

Browse files
committed
add readme
1 parent 889aab0 commit 7b42231

File tree

1 file changed

+3
-0
lines changed

1 file changed

+3
-0
lines changed

README.md

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -24,3 +24,6 @@ celery要用到这个,放celery的各种配置,以及对celery的封装
2424
提供接口将结果进行统一管理
2525
任务并发依靠框架,用的时候只需配置即可
2626

27+
整体思路
28+
master 会来管理控制slave的执行,调度。主要依靠supervisor+一个http服务实现
29+
具体的每个slave执行相应的celery进程,爬虫通过sdk集成到服务中进行统一管理

0 commit comments

Comments
 (0)