您的位置:首页 > 新闻资讯 >文章内容
怎么提高爬虫的速度?使用代理IP、多线程、分布式爬虫
来源:互联网 作者:admin 时间:2019-02-03 09:09:00

    怎么提高爬虫的速度?爬虫的爬取速度不是无限制的,网站会设置各种各样的反爬虫来限制爬取的速度,很多情况下都能影响到爬虫的爬取速度,比如:


    1.硬件条件


    网速以及服务器配置(CPU,内存,带宽)的影响。


    2.软件条件


    时间限制,网页报错,IP次数限制,动态验证码。


怎么提高爬虫的速度?


    当我们爬虫遇到上面的这些问题时,对爬虫的速度影响有多大呢?举例说明:


    1.假设没有遇到问题,在软硬件好的情况下,数据量可高达1300W


    2.假设遇到问题:IP并发次数限制,访问次数限制


    成功率: 70%


    设备数: 一台机器


    爬内容: 新闻+图片


    数据量: 不使用分布式爬虫 1天50W


    3.假设遇到问题:去重,请求失败,2级页面爬取


    成功率: 80%


    设备数: 一台机器


    爬内容: 列表+详情页


    数据量: 使用分布式爬虫 1天15W


    4.假设遇到问题:网页报错,连接错误,手输验证码


    成功率: 80%


    设备数: 一台机器


    爬内容: 段子


    数据量: 不用分布式爬虫 1天10W


    怎么提高爬虫的速度?对于IP限制,我们可以使用代理IP,比如机灵代理,以它的大量IP资源来冲突网站的IP封锁,并能提高爬虫的效率。同时还可以使用多线程以及分布式的使用。


相关文章内容简介
推荐阅读
  • 24 2019-08
    3招教你挑对代理IP

    互联网时代,越来越多人在用代理IP这项服务,那么面对市面上那么多的代理IP商,精明的消费者应该怎么进行筛选,我们要看什么方面来进行判断呢?

  • 24 2020-03
    免费换ip软件安全性高吗

    相信大家都有听说过什么是代理ip,但是你对ip代理的认识有多少呢?动态ip代理是否跟你的想象一致呢?今天,我们就一同来走近换ip软件。

  • 12 2019-06
    使用代理服务器怎么设置

    使用代理服务器怎么设置?其实很简单的,我们的设备通常都支持设置代理服务器使用的,有些软件也会支持设置的。下面机灵代理小编给大家介绍两种使用代理服务器怎么设置的方法。

  • 09 2019-10
    phantomjs怎么设置代理IP?

    java使用selenium,phantomjs进行模拟浏览器访问,请问如何在不重新启动phantomjs的情况下修改代理IP?查阅了相关资料,selenium 官方文档都没有说明,想必是不支持的,那么我们不妨考虑直接用 phantomjs

  • 02 2020-09
    机灵代理ip的作用

    针对常常应用互联网技术的人而言,机灵代理服务器专用工具即使沒有应用过,可是也不会感觉很生疏,由于更换ip常常可以在互联网中见到。如今互联网营销愈来愈广泛,很多人都是采用机灵

  • 14 2019-11
    分享HTTP代理不会选错的方法

    能够提供HTTP代理IP的服务商有那么多,我们在选择的时候只要抓住几个重点来选择,那么就不会出错,下面让机灵代理来教给大家挑选代理IP的万金油套路。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部