http代理 这一关键词，确信从事it行业的人多少钱都一些把握。但对于一些新手初学者而言，他们对爬虫技术必须的http代理是什么都是十分迷惑的，今天网编就来为大家详细描述，以下优秀文章你值得浏览，一起来看！

在爬取一些网址时，大伙儿经常会设置http代理来避免网页爬虫封禁。大伙儿得到http代理详细地址方式一般获得我国的知名 IP http代理商（如西刺http代理，快http代理，舒心http代理等）的永久免费http代理。这类http代理商一般全是提供透明http代理，匿名http代理，高匿http代理。那么这几种http代理的区别是什么？大伙儿该如何选择呢？

原文中的主要内容是讲解各式各样http代理背后的基本概念。1http代理类型http代理类型一共能分为四种。除了前面谈及的透明http代理，匿名http代理，高匿http代理，也是有弄混http代理。从安全系数水准来讲，这四种http代理类型的排序是高匿>弄混>匿名>透明。2http代理基本概念http代理类型关键所在 http代理服务器 端配备。

不一样配备会造成不一样的http代理类型。在配备中，这三个变量REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR是全局性因素。

1)REMOTE_ADDRREMOTE_ADDR说明客户端的IP，但是它的值并并不是由客户端提供的，仅仅网络服务器根据客户端的IP特殊的。倘若运用浏览器马上访问 某一网址，那么网址的web服务器（Nginx、Apache等）便会把REMOTE_ADDR设置成客户端的 IP地址 。如果我们给电脑浏览器http代理，大伙儿访问 指导思想网址的乞求会先经历http代理服务器，接着由http代理服务器将乞求变换到指导思想网址。那么网址的web服务器便会把REMOTE_ADDR设置成http代理服务器的IP。

2）X-Forwarded-For（XFF）X-Forwarded-For是一个HTTP扩展头部，用以说明HTTP乞求端 真实IP 。当客户端运用了http代理时，web服务器就不清楚客户端的真实IP地址。便于避免这一情况，http代理服务器一般会提高一个X-Forwarded-For的头信息内容，把客户端的IP再加终止信息内容里面。X-Forwarded-For请求头格式文件下列：X-Forwarded-For:client,proxy1,proxy2client说明客户端的IP地址；proxy1是离服务端较为远的机械设备IP;proxy2是次级线圈http代理机械设备的IP；从格式文件中，可以看得出来从client到server是可以有两层http代理的。

倘若一个HTTP乞求到达网络服务器之前，经历了三个http代理Proxy1、Proxy2、Proxy3，IP各有为IP1、IP2、IP3，顾客真实IP为IP0，那么按照XFF标准，服务端最终会收到以下信息内容：X-Forwarded-For:IP0,IP1,IP2Proxy3传输数据网络服务器，它会给XFF提升IP2，说明它是在帮Proxy2共享乞求。文件目录中并没有IP3，IP3可以在服务端依据RemoteAddress字段获得。我们知道HTTP连接依据TCP连接，HTTP合同书中没有IP的界定，RemoteAddress来自TCP连接，说明与服务端建立TCP连接的机械设备IP，在这个例证里就是IP3。

3）HTTP_VIAvia是HTTP合同书里面的一个header,记录了一次HTTP乞求所经历的http代理和网关ip，经历一个http代理服务器，就再加一个http代理服务器的信息内容，经历2个就再加2个。3http代理类型区别1)透明http代理(TransparentProxy)http代理服务器的配备下列：REMOTE_ADDR=ProxyIPHTTP_VIA=ProxyIPHTTP_X_FORWARDED_FOR=YourIP透明http代理虽然可以马上“隐藏”客户端的IP地址，但是还是可以从HTTP_X_FORWARDED_FOR来查出来客户端的IP地址。

2）匿名http代理(AnonymousProxy)http代理服务器的配备下列：REMOTE_ADDR=proxyIPHTTP_VIA=proxyIPHTTP_X_FORWARDED_FOR=proxyIP匿名http代理能提供隐藏客户端IP地址的功效。运用匿名http代理，网络服务器能掌握客户端运用用了http代理，当无法掌握客户端真实IP地址。

3）弄混http代理(DistortingProxy)http代理服务器的配备下列：REMOTE_ADDR=ProxyIPHTTP_VIA=ProxyIPHTTP_X_FORWARDED_FOR=RandomIPaddress与匿名http代理的基本概念相近，但是会隐藏得更真正。倘若客户端运用了弄混http代理，网络服务器还是能掌握客户端在运用http代理，但是会得到一个假的客户端IP地址。

4）高匿http代理(EliteProxy或HighAnonymityProxy)http代理服务器的配备下列：REMOTE_ADDR=ProxyIPHTTP_VIA=notdeterminedHTTP_X_FORWARDED_FOR=notdetermined高匿http代理既能让网络服务器不清楚客户端是否在运用http代理，还可以保证 网络服务器得到不了客户端的真实IP地址。

4http代理的选择一般匿名http代理能隐藏虚拟服务器的真实IP，但会变更大伙儿的乞求信息内容，服务端有可能会感觉大伙儿运用了http代理。可是运用该类http代理时，虽然被访问 的网址不能掌握客户端的IP地址，但仍然可以掌握你一直在运用http代理，当然一些能够检测IP的网页页面网页页面仍然可以查到客户端的IP。

而高度匿名http代理不变更虚拟服务器的乞求，那般在网络服务器看来好似有一个真正的消费者浏览器在访问 它，此刻消费者的真实IP是隐藏的，服务端不易感觉大伙儿运用了http代理。

因此，网页爬虫务必运用到http代理时，尽量选择一般匿名http代理和高匿名http代理。除此之外，倘若要那样能这样能保证数据不被http代理服务器掌握，极力推荐运用HTTPS合同书的http代理。爬虫技术必须的http代理是什么？看到这里，确信大家早就有确立思维能力了吧！便于推动很多仍在因而疑虑的人把握，希望大家可以毫不吝啬的分享网编的文章。希望可以帮助到大家，欢迎大家倾听意见！