您的位置:首页 > 新闻资讯 >文章内容
认识Scrapy爬虫框架,采用Scrapy提高效率
来源:互联网 作者:admin 时间:2019-02-04 09:10:00

    虽然各个网站的反爬虫都不少,并进行了各种的限制,比如访问频率限制,这大大影响了网络爬虫的效率,让爬虫不能按时完成任务,这该怎么好?


    小编介绍大家认识Scrapy爬虫框架,采用Scrapy提高效率,下面先来看看在没有爬虫框架的时候我们是如何抓取页面信息的。一个常见的例子是使用HttpClient包或者Jsoup来处理,对于一个简单的小爬虫而言这足够了。


    一、认识Scrapy爬虫框架的组成


    1、网页下载器


    在前面的简单例子中可以看出,如果没有网页下载器,用户就要编写网络请求的处理代码,这无疑对每个URL都是相同的动作。所以在框架设计中我们直接加入它就好了,至于使用什么库来进行下载都是可以的,你可以用httpclient也可以用okhttp,在本文中我们使用一个超轻量级的网络请求库oh-my-request(没错,就是在下搞的)。优秀的框架设计会将这个下载组件置为可替换,提供默认的即可。


认识Scrapy爬虫框架,采用Scrapy提高效率


    2、URL管理器


    爬虫框架要处理很多的URL,我们需要设计一个队列存储所有要处理的URL,这种先进先出的数据结构非常符合这个需求。将所有要下载的URL存储在待处理队列中,每次下载会取出一个,队列中就会少一个。我们知道有些URL的下载会有反爬虫策略,所以针对这些请求需要做一些特殊的设置,进而可以对URL进行封装抽出Request。


    3、网页解析器


    我们知道当一个页面下载完成后就是一段HTML的DOM字符串表示,但还需要提取出真正需要的数据,以前的做法是通过String的API或者正则表达式的方式在DOM中搜寻,这样是很麻烦的,框架应该提供一种合理、常用、方便的方式来帮助用户完成提取数据这件事儿。常用的手段是通过xpath或者css选择器从DOM中进行提取,而且学习这项技能在几乎所有的爬虫框架中都是适用的。


    4、爬虫调度器


    调度器和我们在开发web应用中的控制器是一个类似的概念,它用于在下载器、解析器之间做流转处理。解析器可以解析到更多的URL发送给调度器,调度器再次的传输给下载器,这样就会让各个组件有条不紊的进行工作。


    5、数据处理器


    普通的爬虫程序中是把网页解析器和数据处理器合在一起的,解析到数据后马上处理。在一个标准化的爬虫程序中,他们应该是各司其职的,我们先通过解析器将需要的数据解析出来,可能是封装成对象。然后传递给数据处理器,处理器接收到数据后可能是存储到数据库,也可能通过接口发送给老王。


    二、爬虫执行流程图


认识Scrapy爬虫框架,采用Scrapy提高效率


    首先,引擎从调度器中取出一个链接(URL)用于接下来的抓取。


    引擎把URL封装成一个请求(Request)传给下载器,下载器把资源下载下来,并封装成应答包(Response)。


    然后,爬虫解析Response。


    若是解析出实体(Item),则交给实体管道进行进一步的处理。


    若是解析出的是链接(URL),则把URL交给Scheduler等待抓取。


    因此,轻量级爬虫具有以下基本特性:


    易于定制:很多站点的下载频率、浏览器要求是不同的,爬虫框架需要提供此处扩展配置。


    多线程下载:当CPU核数多的时候多线程下载可以更快完成任务;支持XPath和CSS选择器解析。


    通常了解全文,我们可以知道认识Scrapy爬虫框架,采用Scrapy提高效率。在这里小编要提醒,在使用Scrapy过程中,也是需要使用代理IP的,主要是用于突破IP限制,能够实现多频率访问,比如使用代理精灵,千万IP库存,自动去重。


相关文章内容简介
推荐阅读
  • 11 2019-03
    网站有反采集措施,无法采集信息怎么办

    现在数据这么多,想要获得一些有价值的信息,我们需要对海量的数据进行筛选,而想要获取这些数据,并不是那么简单,因为网站有反采集措施,无法大量的采集数据。这该怎么办呢?

  • 05 2019-05
    用了匿名代理IP还能检测本地IP么?

    用了匿名代理IP还能检测本地IP么?有些人是会有这样的担心,小编告诉大家,这并不一定的。因为匿名有高匿名和普通匿名的,自然是高匿名的效果好,普通匿名的效果相对差些,就是差这么

  • 02 2020-01
    如何设计代理IP池呢?

    如何设计代理IP池呢?网络爬虫对于代理ip的消耗量一般十分巨大,如果我们没有准备足够数量的代理ip将会无法顺利的进行爬虫采集,想要快速方便的调用代理ip最好的方法就是自己搭建一个专属

  • 19 2019-12
    代理IP可以解决访问限制!

    代理IP可以解决访问限制!如果是经常需要切换IP​,操作不规范的话,可是会引起搜索引擎的注意,对于在做优化的网站来说可是非常不利的,因为会导致网站的减分降权等惩罚。而且如果你使

  • 03 2019-04
    爬取网页信息为何要使用代理IP?

    代理IP有高匿名的,也有不匿名的,如果python爬虫使用代理IP爬取网页,是选高匿的还是不匿名的呢?爬取网页信息为何要使用代理IP?

  • 13 2019-06
    想大量发帖如何突破IP限制

    想大量发帖如何突破IP限制?很多平台为了用户体验,以及自身的利益,很多都是有限制的,例如IP限制,这是比较常见的。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部