爬虫如何添加 IP 池？大数据时代来临，爬虫工作者的春天也随之来了。然而在我们进行爬虫业务时，却经常受到目标网站反爬虫机制的阻碍，因为采集信息量和采集速度过快，常常给对方服务器带来巨大负荷，不用猜也知道你是爬虫，怎么可能不被封。如果还没遇到被封IP的场景，要不就是你量太小人家懒得理你，要不就是人家压根不在乎...

要想解决IP被封这种窘境，需要更换IP访问，那么爬虫如何添加IP池？

1、找到一个免费的 ip代理 网站

2、爬取ip（常规爬取requests+BeautifulSoup）

3、验证ip有效性（携带爬取到的ip，去访问指定的url，看返回的状态码是不是200）

4、记录ip（写到文档）

从免费的 代理ip 中提取IP添加IP池的方法虽然有用，但是从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的ip。网上公布的代理ip不一定是可用的，很可能你在使用过程中会发现ip不可用或者已失效的情况。

而且通常情况下，爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的，一来是因为技术含量太高，二来是因为成本太高。

所以现在，许许多多的 代理服务器 应运而生，基本都能提供ip代理的服务，区别在于价格和有效性。