有时需要批量获取数据，如果要获取的网页非常多，一页一页的翻是不是太累了，有没有简单的方法？

当然有，可以利用各种工具，但是呢很多是收费的，或者有限制，还不如自己手动做个爬虫使用，非常简单的，下面小编就为大家讲下如何利用动态 vps 快速爬取网页数据，

以爬取贴吧数据为例： 先写一个main，提示用户输入要爬取的贴吧名，并用urllib.urlencode()进行转码，然后组合url，假设是lol吧

那么组合后的url就是：tieba.baidu.com/f?kw=lol

接下来，我们写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口， 一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。

我们已经之前写出一个爬取一个网页的代码。现在，我们可以将它封装成一个小函数loadPage，供我们使用。

最后如果我们希望将爬取到了每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口 。

其实很多网站都是这样的，同类网站下的html页面编号，分别对应网址后的网页序号，只要发现规律就可以批量爬取页面了。

所以做个爬虫并不是特别难，如果还是没有代码不清楚是什么回事，也不要紧，我们根据简单去看看，以这个为模板，更换其中一些代码即可。

注意：若是爬取的速度比较快，可能会导致 IP 被封，使用 IP代理 动态拨号vps就是突破限制了。