您的位置:首页 > 新闻资讯 >文章内容
如何提高爬虫采集效率
来源:互联网 作者:admin 时间:2020-05-07 09:18:39

  大家都知道采集数据是要花时间,可是也不能一直等着,尤其是需要采集大量数据的情况下。那么如何提高爬虫采集效率就是十分关键的,那小编带大伙儿一块去了解如何提高爬虫采集效率问题。

  1.尽可能减少网站访问次数


  单次爬虫的主要把时间消耗在网络请求等待响应上面,所以能减少网站访问就减少网站访问,既减少自身的工作量,也减轻网站的压力,还降低被封的风险。


  第一步要做的就是流程优化,尽量精简流程,一些数据如果可以在一个网页页面内获取而不必非要在多个网页页面下获取,那就只在一个网页页面内获取。


  随后去重,同样是十分重要的手段,一般根据url或者id进行唯一性判别,爬过的就不再继续爬了。


  2.分布式爬虫


  即便把各种法子都用尽了,单机单位时间内能爬的网页数仍是有限的,面对大量的网页页面队列,可计算的时间仍是很长,这种情况下就必须要用机器换时间了,这就是分布式爬虫。


  第一步,分布式并不是爬虫的本质,也并不是必须的,对于互相独立、不存在通信的任务就可手动对任务分割,随后在多个机器上各自执行,减少每台机器的工作量,费时就会成倍减少。


  例如有200W个网页页面待爬,可以用5台机器各自爬互不重复的40W个网页页面,相对来说单机费时就缩短了5倍。


  可是如果存在着需要通信的状况,例如一个变动的待爬队列,每爬一次这个队列就会发生变化,即便分割任务也就有交叉重复,因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式,一个Master存储队列,其他多个Slave各自来取,这样共享一个队列,取的情况下互斥也不会重复爬取。scrapy-redis是一款用得比较多的分布式爬虫框架。


相关文章内容简介
推荐阅读
  • 03 2019-07
    爬虫代理换IP加快爬取效率

    爬虫代理换IP加快爬取效率,成效非常大,这爬虫代理是网络爬虫抓取数据必不可少的工具。

  • 01 2019-11
    了解http连接的常见流程与请求处理过程

    http这个互联网协议是我们使用网络的时候经常会用的,为了加深大家对互联网的了解,机灵代理今天带来http连接的常见流程、从TCP编程看HTTP请求处理过程的分享:

  • 31 2019-12
    爬虫需要掌握哪些技术?

    爬虫需要掌握哪些技术?使用爬虫采集数据已经成为了现在的一种风尚和流行,或者说大数据在未来会变得愈发重要,学习和使用爬虫的人也变得越来越多,那么我们在使用学习爬虫时需要掌握

  • 09 2019-01
    国内可用的http代理服务器

    代理服务器本来只是介于浏览器和Web服务器之间的一台服务器,还可以说是一个中间商,主要的功能就是代理网络用户去获得网络信息。

  • 28 2020-09
    代理ip服务该怎么选择好

    现如今越来越多的拨号宽带变成了代理服务器,而且服务器的价格要比宽带更为便宜,其网速在运营过程中更加高效,一般大品牌的服务器提供商会为大家提供一个免费的注册账号,让大家测试

  • 10 2020-07
    采集数据用代理IP有什么作用

    大家都知道采集数据要用爬虫,爬虫要比人工的效率快很多。当在采集数据的时候,代理IP有非常大的作用,下面就为大家进行详细的介绍采集数据用代理IP有什么作用。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部