您的位置:首页 > 新闻资讯 >文章内容
认识Scrapy爬虫框架,采用Scrapy提高效率
来源:互联网 作者:admin 时间:2019-02-04 09:10:00

    虽然各个网站的反爬虫都不少,并进行了各种的限制,比如访问频率限制,这大大影响了网络爬虫的效率,让爬虫不能按时完成任务,这该怎么好?


    小编介绍大家认识Scrapy爬虫框架,采用Scrapy提高效率,下面先来看看在没有爬虫框架的时候我们是如何抓取页面信息的。一个常见的例子是使用HttpClient包或者Jsoup来处理,对于一个简单的小爬虫而言这足够了。


    一、认识Scrapy爬虫框架的组成


    1、网页下载器


    在前面的简单例子中可以看出,如果没有网页下载器,用户就要编写网络请求的处理代码,这无疑对每个URL都是相同的动作。所以在框架设计中我们直接加入它就好了,至于使用什么库来进行下载都是可以的,你可以用httpclient也可以用okhttp,在本文中我们使用一个超轻量级的网络请求库oh-my-request(没错,就是在下搞的)。优秀的框架设计会将这个下载组件置为可替换,提供默认的即可。


认识Scrapy爬虫框架,采用Scrapy提高效率


    2、URL管理器


    爬虫框架要处理很多的URL,我们需要设计一个队列存储所有要处理的URL,这种先进先出的数据结构非常符合这个需求。将所有要下载的URL存储在待处理队列中,每次下载会取出一个,队列中就会少一个。我们知道有些URL的下载会有反爬虫策略,所以针对这些请求需要做一些特殊的设置,进而可以对URL进行封装抽出Request。


    3、网页解析器


    我们知道当一个页面下载完成后就是一段HTML的DOM字符串表示,但还需要提取出真正需要的数据,以前的做法是通过String的API或者正则表达式的方式在DOM中搜寻,这样是很麻烦的,框架应该提供一种合理、常用、方便的方式来帮助用户完成提取数据这件事儿。常用的手段是通过xpath或者css选择器从DOM中进行提取,而且学习这项技能在几乎所有的爬虫框架中都是适用的。


    4、爬虫调度器


    调度器和我们在开发web应用中的控制器是一个类似的概念,它用于在下载器、解析器之间做流转处理。解析器可以解析到更多的URL发送给调度器,调度器再次的传输给下载器,这样就会让各个组件有条不紊的进行工作。


    5、数据处理器


    普通的爬虫程序中是把网页解析器和数据处理器合在一起的,解析到数据后马上处理。在一个标准化的爬虫程序中,他们应该是各司其职的,我们先通过解析器将需要的数据解析出来,可能是封装成对象。然后传递给数据处理器,处理器接收到数据后可能是存储到数据库,也可能通过接口发送给老王。


    二、爬虫执行流程图


认识Scrapy爬虫框架,采用Scrapy提高效率


    首先,引擎从调度器中取出一个链接(URL)用于接下来的抓取。


    引擎把URL封装成一个请求(Request)传给下载器,下载器把资源下载下来,并封装成应答包(Response)。


    然后,爬虫解析Response。


    若是解析出实体(Item),则交给实体管道进行进一步的处理。


    若是解析出的是链接(URL),则把URL交给Scheduler等待抓取。


    因此,轻量级爬虫具有以下基本特性:


    易于定制:很多站点的下载频率、浏览器要求是不同的,爬虫框架需要提供此处扩展配置。


    多线程下载:当CPU核数多的时候多线程下载可以更快完成任务;支持XPath和CSS选择器解析。


    通常了解全文,我们可以知道认识Scrapy爬虫框架,采用Scrapy提高效率。在这里小编要提醒,在使用Scrapy过程中,也是需要使用代理IP的,主要是用于突破IP限制,能够实现多频率访问,比如使用代理精灵,千万IP库存,自动去重。


相关文章内容简介
推荐阅读
  • 27 2019-08
    代理IP知识:HTTP与HTTPS协议

    大数据时代,互联网这个开源的平台,人人都可以成为网络高手。但是在成为大神级人物之前,有些基础知识是必须要了解的,而这些基础也能够让你在选择代理IP的时候,可以理智的选择真正

  • 17 2019-06
    高匿代理ip风险系数极低

    高匿代理ip风险系数极低,不同其他的代理ip,用着用着就被发现了,高匿代理ip拥有极高的匿名效果的,这点大家不必担心。

  • 01 2019-07
    手游多开需要换IP地址登陆

    手游多开需要换IP地址登陆,现在手游比较火,手游的玩家越来越多了,因此一些游戏工作室也会选择进入手游赚钱,手游工作室行业将进入规模产业化,资源大佬赚钱时代。

  • 01 2019-08
    爬虫多线程工作不能少代理IP

    爬虫多线程工作不能少代理IP!当我们在访问目标网站进行数据抓取时,ip访问过于频繁,就会出现被禁止访问的情况,这就需要代理IP来解决了,我们先看下爬虫是怎么工作的,为何要使用代理

  • 11 2019-05
    用IP代理会掉回原来的IP吗?

    用IP代理会掉回原来的IP吗?如果IP代理不稳定,是不是会失效,变回原来的IP访问。由于工作或者生活中有时会遇到IP地址被封的情况,导致这种情况的原因有很多,比如贴吧发帖频繁、数据采

  • 09 2019-09
    反向代理如何获取真实IP?

    代理IP除了能够用于营销活动、爬虫工作之外,其实还有很多用途,不少大神开发了很多用途。如果你想知道在反向代理或者CDN情况下,想要获得真实的IP地址,要怎么进行操作,那就可不能错

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部