WebCrawler-study 目录 路径 说明 scrapytest 工程名称 scrapy.cfg 项目的配置文件 ./ 该项目的python模块。之后您将在此加入代码 ./items.py 需要提取的数据结构定义文件 ./middlewares.py 是和Scrapy的请求/响应处理相关联的框架 ./pipelines.py 用来对items里面提取的数据做进一步处理，如保存等 ./settings.py 项目的配置文件 ./spiders/ 放置spider代码的目录