怎么提高爬虫的速度？爬虫的爬取速度不是无限制的，网站会设置各种各样的反爬虫来限制爬取的速度，很多情况下都能影响到爬虫的爬取速度，比如：

    1.硬件条件

    网速以及服务器配置(CPU,内存,带宽)的影响。

    2.软件条件

    时间限制，网页报错，IP次数限制，动态验证码。

    当我们爬虫遇到上面的这些问题时，对爬虫的速度影响有多大呢？举例说明：

    1.假设没有遇到问题，在软硬件好的情况下,数据量可高达1300W

    2.假设遇到问题：IP并发次数限制,访问次数限制

    成功率: 70%

    设备数: 一台机器

    爬内容: 新闻+图片

    数据量: 不使用分布式爬虫 1天50W

    3.假设遇到问题：去重,请求失败,2级页面爬取

    成功率: 80%

    设备数: 一台机器

    爬内容: 列表+详情页

    数据量: 使用分布式爬虫 1天15W

    4.假设遇到问题：网页报错,连接错误,手输验证码

    成功率: 80%

    设备数: 一台机器

    爬内容: 段子

    数据量: 不用分布式爬虫 1天10W

    怎么提高爬虫的速度？对于IP限制，我们可以使用代理IP，比如机灵代理，以它的大量IP资源来冲突网站的IP封锁，并能提高爬虫的效率。同时还可以使用多线程以及分布式的使用。