Skip to content

请教下爬虫的频率在哪设置的吗 #78

@mashpolo

Description

@mashpolo

最近一直搜索失败,看了下日志,发现不管是从baidu还是从360搜索,都要求了验证码,导致获取不到正确的页面,看起来像是爬虫太频繁了导致的。
具体返回的结果是

        如果经常出现此页面,请把您的IP和反馈意见<a href="http://info.so.com/feedback.html?add=ip%3A%20185.194.148.243" target="_blank">提交</a>给我们,我们会尽快处理您的反馈。</p>
        <div class="why">
            <strong>为什么会出现验证码?</strong>
            出现验证码表示您所在的网络可能存在异常,同IP短时间内大量发送请求,被服务器判断为异常请求。<br/>
            需要您输入验证码,以确认本次的访问是正常请求,而非机器自动请求,即可正常使用360搜索。
      </div>
    </div>

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions