一道爬虫笔试题目

题目

• 任务1—环评信息爬取

  使用Scrapy框架爬取内蒙古自治区环境保护厅环评审批“项目受理情况”栏目中（入口：http://www.nmgepb.gov.cn/ywgl/hjpj/xmslqk/index.html），受理日期在2015/1/1 至今的施工项目的以下字段信息：“项目名称”、“建设地点”、“建设单位”、“环境影响评价机构”以及“受理日期”

• 任务2—网页遍历

  给定一个爬虫入口网址，实现在无人工干预的情况下自动遍历一个封闭（没有链接指向其他域名下的网页）的小型网站的所有页面，并记录各页面间的父子关系。

个人题解