在使用爬虫爬取数据的过程中,常常遇到 IP 被封禁的情况,这时候就需要想办法解决IP受限问题.

这里神鸡代理的小编总结了几种绕开IP被封的解决办法,主要就是围绕准备足够多的IP来进行,供大家参考:

1、对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。降低抓取频率，时间设置长一些，访问时间采用随机数频繁切换UserAgent（模拟浏览器访问）多页面数据，随机访问然后抓取数据 -更换用户IP。

2、国内ADSL是硬道理，多申请些线路，分布在多个不同的电信区局，能跨省跨市更好，自己写好断线重拨组件，自己写 动态IP 追踪服务，远程硬件重置（主要针对ADSL猫，防止其宕机），其余的任务分配，数据回收，都不是大问题。

3、有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for即可绕过。 大部分网站如果要频繁抓取，一般还是要多IP。解决方案是国外 VPS 再配多IP，通过默认网关切换来实现IP切换，比 HTTP代理 高效得多，估计也比多数情况下的ADSL切换更高效。

4、1 user agent 伪装和轮换2 使用 代理ip 和轮换3 cookies 的处理，有的网站对登陆用户政策宽松些

友情提示：考虑爬虫给人家网站带来的负担，be a responsible crawler