使用代理服务器爬取网页还会被封IP吗?
2019年1月13日 13:58

问题描述:最近写了一个代理人,在一个大的访问号码, IP 将被封闭,这样的 代理服务器 ,但结果将被封闭。所以我想问,在使用的代理,它会仍然是封闭的,解决方案是什么?

与高匿名 代理IP ,有没有问题,将被封闭。它估计,使用代理IP是一个透明的代理。

网友回复

在该过程的第一接触Python的代理人,我们总是在遇到问题时,封闭的代理人收集数据。我想你有encountered相似的问题。今天我们将discuss如何练习,这个问题从医学角度的 HTTP代理 IP。

一般,有several方法用于调查reptiles密封follows IP为:

1,检查JavaScript。如果你的页面从Web服务器接收到一个冰瑞比克·思路特信息空白,或遭遇的东西,如果它不符合你的期望(或冰槽…你看到在你的浏览器),它可能是因为《JavaScript执行的页的网站创造了problematic冰。

2。检查的参数的正常submitted浏览器。如果你准备好提交一个网站或的形式做一项请求,检查的内容的每一页看到的,如果你想提交现场已被收购方和冰的正确格式。使用“Chrome网络浏览器的面板(shortcut F12,打开两个开发者的控制台,然后单击“网”上看到的)两晚邮报commands看到两个网站,这是你的confirming冰每个参数的正确。

3。有一个合法的饼干吗?如果你有两个网站上的记录,但不能保持登录状态的,或有其他的“abnormalities登录状态”的网站,请检查你的饼干。确保这是invoked correctly饼干冰淇淋当每个页面时,这就是你的饼干是晚了两个小时的网站的每一个要求冰的方式。

4、IP banned冰淇淋吗?如果你遇到错误的HTTP客户端访问,尤其是prohibition 403错误,这可能表明,处理你的站点有IP作为一个机器人不再接受任何你不从你的要求。或者你可以等待你的 IP地址 是“blacklist删除或变更信息(你可以去星巴克(Starbucks)。如果你再生气你不封闭,检查下面的话。

5。确保你的代理人,特别是固体冰槽的网站。快速采集冰浴的习惯,将一个沉重的负担impose在服务器和网络管理,也会把你在一个非法的情况。它是主要的原因,为什么也在冰blacklisted IP的网站。增长的潜伏期为你的crawlers跑离死夜大学。一直在提醒:写作计划或收集的数据都在一个急manifestations普大学项目管理;规划应该做两个预先避免恐慌。

6,有一件事,必须做:修改你的请求标头。世界卫生组织块访问一些网站的两个crawlers索赔。如果你没有什么价值的酸性的请求标头的冰,用你自己的浏览器的请求标头。

1130 183

上一篇:使用代理IP,HTTP状态码为407?

下一篇:怎么扫描到最新可用的http代理ip?

相关文章

旗下产品

软件IP代理 企业HTTP代理 开放HTTP代理 高速硬件IP代理
@ 2016 - 2024.猎鹰网安IP代理, All rights reserved. 鄂ICP备18017015号-4
禁止利用本站资源从事任何违反本国(地区)法律法规的活动
新闻中心 | 其他新闻 | 帮助文档