您的位置:首页 > 新闻资讯 >文章内容
网站使用AJAX异步加载后,爬虫是怎么进行抓取的?
来源:互联网 作者:admin 时间:2019-02-22 16:53:18

    对于AJAX异步加载,大部分都是不理解的,但是我们都见过。其实我们日常使用设备上网的时候,经常会遇到AJAX异步加载,比如搜索信息会先出来一部分数据,当玩下滑的时候不断有新的数据出现。


    也就死说,使用AJAX异步加载,可以实现在不重新加载整个网页的情况下,对网页的某部分进行更新。那么对于网站使用AJAX异步加载后,爬虫是怎么进行抓取的?


    对于这类网页,我们一般采用两种方法:


    1、通过抓包找到异步加载请求的真正地址


    2、通过PhantomJS等无头浏览器执行JS代码后再抓取


    但是通常采取第一种方法,因为第二种方法使用无头浏览器会大大降低抓取的效率。


    异步加载网站抓取示例 :


    使用豆瓣电影分类排行榜作为抓取示例,电影信息网页源码中没有,并且采用鼠标下拉更新页面,这时需要我们在需要抓取的页面打开Chrome的开发者工具,选择network,实现一次下拉刷新


    发现新增了一个get请求,并且响应为JSON格式。观察JSON的内容,发现正是需要抓取的内容。


    抓取内容的问题解决了,接下来处理多页抓取问题,因为请求为get形式,所以首先进行几次下拉刷新,观察请求链接的变化,会发现请求的地址中只有start的值在变化,并且每次刷新增加20,其他都不变,所以我们更改这个参数就可以实现翻页。


    由于之前已经在items.py中对需要抓取的数据做了声明,所以只需要在scraoyspider/spiders目录下创建一个新的爬虫文件


    douban_actions.py,代码如下:


网站使用AJAX异步加载后,爬虫是怎么进行抓取的?

网站使用AJAX异步加载后,爬虫是怎么进行抓取的?


    然而,很多时候ajax请求都会经过后端鉴权,不能直接构造URL获取。这时就可以通过PhantomJS、chromedriver等配合Selenium模拟浏览器动作,抓取经过js渲染后的页面。


    使用这种方法有时会遇到定位网页页面元素定位不准的情况,这时就要注意网页中的frame标签,frame标签有frameset、frame、iframe三种,frameset跟其他普通标签没有区别,不会影响到正常的定位,而frame与iframe对selenium定位而言是一样的,需要进行frame的跳转。


    以上就是如何抓取AJAX异步加载页面的方法,仅供参考。不管是面对哪种反爬虫,其实只要舍得花成本,还是有方法可以抓取的,毕竟不管反爬虫多么的厉害,也是人弄的,总有人技术更好。但是当成本高于经济效率时,自然就不会抓取了。


相关文章内容简介
推荐阅读
  • 01 2019-06
    微信手机电脑版怎么设置代理

    微信手机电脑版怎么设置代理?微信的用户多,微商也多,有些人使用多个微信号,但是同IP登陆多个账户容易导致IP被封,因此使用多账号,也需要设置代理来更换IP,那么微信怎么设置代理上

  • 08 2019-08
    代理IP让项目在竞争中更有优势

    代理IP让项目在竞争中更有优势,这是为什么呢?我们都知道外贸在线电子商务是一个竞争激烈的行业,价格从不同地点到国家变化很大。在这个没有边界与限制的网络环境中,我们如何跟上价

  • 23 2019-09
    从事网络工作为什么要用代理IP?

    为什么开展互联网工作,做网络营销需要用到代理IP?代理IP在这当中起到的作用是什么呢?

  • 03 2020-04
    代理ip软件有哪些好处

    代理ip软件主要用于更换访问ip地址,那么使用代理ip具有哪些好处及作用?

  • 08 2019-10
    如何正确选用代理IP类型?

    透明代理IP、匿名代理IP、高匿名代理IP、混淆代理IP,这几种类型的代理相信大家都有基础的了解,不同的代理方式能够使用在不同的场景当中,那么我们要怎么去选择代理IP的类型呢?

  • 20 2019-08
    用代理IP在网络营销发挥重大作用

    代理IP在网络营销的不同场景都发挥着重大作用,以下场景都可以利用代理IP进行网络营销:

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部