您的位置:首页 > 新闻资讯 >文章内容
如何提高爬虫采集效率
来源:互联网 作者:admin 时间:2020-05-07 09:18:39

  大家都知道采集数据是要花时间,可是也不能一直等着,尤其是需要采集大量数据的情况下。那么如何提高爬虫采集效率就是十分关键的,那小编带大伙儿一块去了解如何提高爬虫采集效率问题。

  1.尽可能减少网站访问次数


  单次爬虫的主要把时间消耗在网络请求等待响应上面,所以能减少网站访问就减少网站访问,既减少自身的工作量,也减轻网站的压力,还降低被封的风险。


  第一步要做的就是流程优化,尽量精简流程,一些数据如果可以在一个网页页面内获取而不必非要在多个网页页面下获取,那就只在一个网页页面内获取。


  随后去重,同样是十分重要的手段,一般根据url或者id进行唯一性判别,爬过的就不再继续爬了。


  2.分布式爬虫


  即便把各种法子都用尽了,单机单位时间内能爬的网页数仍是有限的,面对大量的网页页面队列,可计算的时间仍是很长,这种情况下就必须要用机器换时间了,这就是分布式爬虫。


  第一步,分布式并不是爬虫的本质,也并不是必须的,对于互相独立、不存在通信的任务就可手动对任务分割,随后在多个机器上各自执行,减少每台机器的工作量,费时就会成倍减少。


  例如有200W个网页页面待爬,可以用5台机器各自爬互不重复的40W个网页页面,相对来说单机费时就缩短了5倍。


  可是如果存在着需要通信的状况,例如一个变动的待爬队列,每爬一次这个队列就会发生变化,即便分割任务也就有交叉重复,因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式,一个Master存储队列,其他多个Slave各自来取,这样共享一个队列,取的情况下互斥也不会重复爬取。scrapy-redis是一款用得比较多的分布式爬虫框架。


相关文章内容简介
推荐阅读
  • 24 2020-11
    免费代理IP是真是假

    最近大多数朋友问我,我可以使用互联网上的免费代理ip吗?为什么在浏览器中设置代理后就不能上网了?我尝试了很多。那些免费代理IP是真是假?为什么很多免费代理IP不能用?能不能用,应

  • 07 2020-01
    高匿代理ip​好在哪儿?

    高匿代理ip​好在哪儿?很多爬虫爱好者在进行抓取数据的时候,首推使用的代理IP就是高匿名代理ip,那么高匿名代理IP的实现原理是什么?使用高匿名代理ip真的更好吗?

  • 28 2019-04
    爬虫的HTTP请求分析

    在进行数据采集之前,我们需要先来了解下爬虫的HTTP请求分析,这样有助于我们快速进行信息的处理。可能还有人不知道什么是爬虫的,这里介绍下:

  • 05 2020-08
    那么如何维护代理IP池呢

    互联网行业发展机灵,很多平台诞生了,同时也出现了很多作家,写手。但是要想成为一个有名气的作家是很难的,尤其是前期,可能写的文章发表出来都没有人看。我们知道,有些网站的文章

  • 17 2019-04
    代理IP的收集、检查、设置使用的一系列过程

    代理IP的收集、检查、设置使用的一系列过程,大家了解几点,还是这一系列过程大家都知道?对于IP的使用,大家是手动还是自动呢?

  • 07 2019-10
    开源代理服务器介绍:Varnish Cache篇

    今天机灵代理要为大家带来Varnish Cache这款开源代理服务器的介绍,它的功能也是非常强大,能够帮助我们提高工作效率,而且能够有效减少工作的繁琐性。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部