数据抓取如何解决封IP的情况？神鸡代理
2019年1月12日 13:33
在抓取信息的过程中，如果抓取频率高于网站设置的阈值，则会得到503或403条响应，禁止访问。通常，网站的反爬虫机制是基于 IP 来识别爬虫。
所以爬虫开发者通常需要采取两种措施来解决这个问题：
1。降低爬行速度，降低目标网站的压力。但这将减少每个单位时间类的抓取量。
2。第二种方法是通过设置 代理IP ，突破反爬虫机制，继续进行高频爬行。但这需要多个稳定的代理IP。
代理IP可以免费搜索，但可能不稳定，有费用，但可能不划算，也可能不是一个长期的解决方案。
基于ADSL的通用拨号解决方案通常情况下，当爬行过程中禁止访问时，可以恢复ADSL拨号以获得新的IP，从而继续爬行。但是，当多站点多线程爬行时，如果禁止一个网站的爬行，也会影响其他网站的爬行，整体的爬行速度也会降低。
用不同的代理IP替换每个请求
639
137
下一篇：IP地址分类介绍-神鸡代理
相关文章
武汉猎鹰网安科技有限公司：构建坚不可破的网络安全防线
武汉猎鹰网安科技有限公司引领网络安全新时代
印度数据安全委员会（DSCI）
代理IP须知及代理服务器的使用技巧
IP代理软件的原理及保证网络安全
武汉猎鹰网安科技有限公司：打造坚不可摧的网络安全防线
网络服务器防火墙或http代理联接
武汉猎鹰网安科技有限公司：守护数字时代的安全防线
集群管理应该做什么
怎么突破IP限制
