Scrapy + Selenium 对淘宝商品进行爬取
selenium利用微博账号模拟登录获取cookie
scrapy进行爬取商品信息,文件保存为json
2019-04-21更新 利用Flask做了个接口,可以部署到云端进行爬取,返回json数据
未做: 偶尔登陆时出现验证码,换个账号就行了 偶尔出现滑块验证码,在调用parse后找不到爬取的内容,正在想办法解决 爬取商品详情页面内的评论(需要代理池)
| Name | Name | Last commit date | ||
|---|---|---|---|---|
Scrapy + Selenium 对淘宝商品进行爬取
selenium利用微博账号模拟登录获取cookie
scrapy进行爬取商品信息,文件保存为json
2019-04-21更新 利用Flask做了个接口,可以部署到云端进行爬取,返回json数据
未做: 偶尔登陆时出现验证码,换个账号就行了 偶尔出现滑块验证码,在调用parse后找不到爬取的内容,正在想办法解决 爬取商品详情页面内的评论(需要代理池)