您的位置:首页 > 新闻资讯 >文章内容
scrapy-redis分布式爬虫的基础组成
来源:互联网 作者:admin 时间:2019-02-02 09:09:00

    大数据时代下,人类社会的数据正以前所未有的速度增长,传统的获取数据的方式如问卷调查、访谈法等,其样本容量小、信度低、且受经费和地域范围所限,因而收集的数据往往无法客观反映研究对象,有着较大的局限性。于是许多企业都使用爬虫来获取到大量的信息,并通过分析挖掘出有价值的信息。


    但如今,信息量如此之大,如何获取大量的数据呢?可以使用分布式爬虫,今天小编给大家介绍下scrapy-redis分布式爬虫的基础组成


scrapy-redis分布式爬虫的基础组成


    1.scrapy_redis


    scrapy-redis是为了更方便地实现scrapy分布式爬取,而提供了一些以redis数据库为基础的组件。


    scrapy-redis提供了维持待爬取url的去重以及储存requests的指纹验证。原理是:redis维持一个共同的url队列,各个不同机器上的爬虫程序获取到的url都保存在redis的url队列,各个爬虫都从redis的url队列获取url,并把数据统一保存在同一个数据库里面。


    2.消息队列


    MQ全称为MessageQueue,是一种分布式应用程序的的通信方法,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。


    它是消费-生产者模型的一个典型的代表,producer往消息队列中不断写入消息,而另一端consumer则可以读取或者订阅队列中的消息。


    消息生产者只管把消息发布到MQ中而不用管谁来取,消息消费者只管从MQ中取消息而不管是谁发布的。


    3.RabbitMQ


    RabbitMQ是MQ产品的典型代表,是一款基于AMQP协议可复用的企业消息系统。业务上,可以实现服务提供者和消费者之间的数据解耦,提供高可用性的消息传输机制,在实际生产中应用相当广泛。


    4.scrapy_rabbitmq分布式


    Scrapy-rabbitmq-link是可以让你从RabbitMQ消息队列中取到URL并且分发给Scrapyspiders的组件。


    5.celery初步


    Celery用消息通信,通常使用中间人(Broker)在客户端和程序间斡旋。这个过程从客户端向队列添加消息开始,之后中间人把消息派送给程序。


    上文介绍了scrapy-redis分布式爬虫的基础组成,scrapy-redis的分布式系统,用于分布式爬虫URL队列的存储和去重队列的存储。当然,对于更大型的爬虫系统,或者对于非scrapy框架的爬虫,可以选择其它的方案替代scrapy和scrapy-redis,比如可以使用RabbitMQ消息队列代替Redis。


相关文章内容简介
推荐阅读
  • 18 2019-07
    免费代理ip适合谁用?

    免费代理ip适合谁用?完全免费的东西向来令人趋之若鹜,就算这东西没有多少价值甚至毫无用处,但是就凭这“免费”二字自身就散发着令人着迷的魅力。现在要说的是免费代理ip,它有效率

  • 30 2019-12
    高质量代理助力爬虫效率!

    高质量代理助力爬虫效率!随着大数据的兴起,每个网站都有自己的庞大的数据信息和每天的更新,个个网站也对自己的网站加强自我保护及信息流失,增加了网站反爬虫机制,在网站加以限制

  • 12 2019-11
    使用代理IP抓包遇到问题如何解决?

    除了用代理IP来进行爬虫,你还知道代理IP能够用在什么地方吗?其实代理IP还能够帮助我们进行抓包工作噢,接下来跟着机灵代理来一起了解一下。

  • 20 2020-06
    动态IP代理到底是什么呢

    动态IP代理到底是什么呢?简单来说,就是一个换IP地址的核心功能,但是除了换IP地址以外,代理IP还分了一下几种方式。

  • 03 2020-06
    大数据时代的代理知识

    大数据时代,如果你还对于网络数据的获取与使用搞不太清楚,那么今天介绍的爬虫操作就非常值得参考了。

  • 18 2019-06
    用代理服务器上网的好处

    用代理服务器上网的好处,都有哪些呢?网络上的哪些平台都是要放在服务器中的,不然我们也访问不到,但是什么是代理服务器呢?为何有些人上网也需要代理服务器的?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部