【神鸡 动态IP 拨号 VPS 】在写爬虫程序的时候，当抓取频率较快或者抓取一些robots.txt禁爬路径，肯定会碰到被网站屏蔽的情况，这时候目标服务器要么直接返回404，要么就是返回禁止的提示信息，总之就是抓不到想要的内容。

如果遇到这种情况，对应小型爬虫来说，最简单经济有效的方式，就是通过代理来反问。

一些基本概念：动态IP池其实就是一堆可以用来做代理访问的Pool，作为Service Provider它对外提供可用的动态IP及端口。

动态IP从隐藏级别上分三类：

透明代理，服务器知道你用了代理，但同时也知道你的 真实IP ，说白了是不以隐藏自己IP为目的使用的，比如翻墙什么的

普通代理，服务器也知道你用了代理，但不知道你的真实IP

高匿代理，服务器不知道你用了代理，更不知道你的真实IP 其中高匿代理指 代理服务器 不向目标服务器传递X_FORWARDED_FOR变量 Python的实现方式 设计思路和原理思路就是从目前提供代理服务的网站获取可使用的IP、端口、代理类型信息，并检测可用性，然后对外提供服务。

功能模块；ProxyWebsite - 目标抓取的代理服务网站 Crawler - 抓取模块，通过HTTP来抓取定向代理服务网站内容 Extrator - 抽取模块，将HTML页面内容，抽取成结构化数据 Data - 数据模块，为结构化数据存储服务 Validator - 检验模块，检查代理的可用性 Service - 对外提供REST API服务