在大量爬取某个网站时,突然被该网站封了
IP
,再也爬不动了。研究其反爬虫策略时发现,当单个IP访问次数达到某个阈值时,将会限制当天访问。
842
268
上一篇:透明代理怎么实现?
下一篇:什么是HTTP代理IP?