c#爬虫和python要用什么 ip代理服务器 我用c#,java都写过爬虫。区别不大，原理就是利用好正则表达式。只不过是平台问题。后来了解到很多爬虫都是用python写的。因为目前对python并不熟，所以也不知道这是为什么。百度了下结果：

1)抓取网页本身的接口

相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁;相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择)

此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟useragent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize

2)网页抓取后的处理

抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。

其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Lifeisshort，uneedpython.

冲最后一句‘Lifeisshort，uneedpython’，立马在当当上买了本python的书!以前就膜拜过python大牛，一直想学都扯于各种借口迟迟没有开始。

py用在linux上很强大，语言挺简单的。

NO.1快速开发(唯一能和python比开发效率的语言只有rudy)语言简洁，没那么多技巧，所以读起来很清楚容易。

NO.2跨平台(由于python的开源，他比java更能体现"一次编写到处运行"

NO.3解释性(无须编译，直接运行/调试代码)

NO.4构架选择太多(GUI构架方面主要的就有wxPython,tkInter,PyGtk,PyQt。

使用我们的有哪些优势

1分布式ip代理服务器数万ip代理服务器节点分布全国各个省市，IP段无重复。

2支持多线程高并发使用。

3家庭宽带线路所有资源均来自家庭宽带终端，IP绿色纯净，适用所有项目。

4多项使用授权使用ip代理服务器时需要用户名密码或IP白名单绑定，后台自由切换。

1.抓取的效率

抓取的效率和计算机硬件的性能、硬件的多少、网络的带宽有关系，但为了提高抓取效率不能一味地增加硬件，而是要利用有限的硬件资源在一定的时间内抓取最多的的网页。

常见的提高抓取效率的策略有：

(1)采用多线程并发抓取

(2)采用单线程、非阻塞i/o抓取

(3)分布式抓取，把抓取工作分布到多台服务器完成，对于google这样的搜索引擎还包括地理上的分布式，把抓取服务器机群分布到全球各个国家的主干网上抓取。

(4)抓取的效率很大程度也取决于抓取的对象——网站服务器和带宽的速度。因此设计spider时要有估算抓取网站服务器负载和带宽的功能并且有一个很好调度策略，使得访问不同状况网站服务器有不同的频率。

2.抓取的质量

设计spider的目标不是把互联网上的所有网页都抓回来，而是抓重要的而且是最新的网页的即可。

怎样抓取高质量的网页哪些网页是质量比较高的这里就要求设计人员对互联网以及用户的习惯和常理都有一定的理解。

从互联网整体上看，网站中各个网页之间的链接关系是一个很重要的资源，因此在抓取网页时要记录网页之间的链接关系，以便进行链接分析，从而通过链接关系来评价网页的质量。

网页重要性的评价指标可以从以下几个方面着手：

(1)某个网页的链接深度。

(2)网页的入度。

(3)网页的父网页的入度。

(4)网页的重复数。

以上这些指标都基于这么几个常理：

(1)网站最重要的网页都放在前面，即层次越浅。网站首页以及首页指向的网页都是比较重要的。

(2)有很多网页、很重要的网页都指向这个网页，这个网页就比较重要，就像检索工具《sci》评价论文的质量一样，被引用的论文的次数越多，则说明这篇论文比较重要。