您的位置:首页 > 新闻资讯 >文章内容
网站使用AJAX异步加载后,爬虫是怎么进行抓取的?
来源:互联网 作者:admin 时间:2019-02-22 16:53:18

    对于AJAX异步加载,大部分都是不理解的,但是我们都见过。其实我们日常使用设备上网的时候,经常会遇到AJAX异步加载,比如搜索信息会先出来一部分数据,当玩下滑的时候不断有新的数据出现。


    也就死说,使用AJAX异步加载,可以实现在不重新加载整个网页的情况下,对网页的某部分进行更新。那么对于网站使用AJAX异步加载后,爬虫是怎么进行抓取的?


    对于这类网页,我们一般采用两种方法:


    1、通过抓包找到异步加载请求的真正地址


    2、通过PhantomJS等无头浏览器执行JS代码后再抓取


    但是通常采取第一种方法,因为第二种方法使用无头浏览器会大大降低抓取的效率。


    异步加载网站抓取示例 :


    使用豆瓣电影分类排行榜作为抓取示例,电影信息网页源码中没有,并且采用鼠标下拉更新页面,这时需要我们在需要抓取的页面打开Chrome的开发者工具,选择network,实现一次下拉刷新


    发现新增了一个get请求,并且响应为JSON格式。观察JSON的内容,发现正是需要抓取的内容。


    抓取内容的问题解决了,接下来处理多页抓取问题,因为请求为get形式,所以首先进行几次下拉刷新,观察请求链接的变化,会发现请求的地址中只有start的值在变化,并且每次刷新增加20,其他都不变,所以我们更改这个参数就可以实现翻页。


    由于之前已经在items.py中对需要抓取的数据做了声明,所以只需要在scraoyspider/spiders目录下创建一个新的爬虫文件


    douban_actions.py,代码如下:


网站使用AJAX异步加载后,爬虫是怎么进行抓取的?

网站使用AJAX异步加载后,爬虫是怎么进行抓取的?


    然而,很多时候ajax请求都会经过后端鉴权,不能直接构造URL获取。这时就可以通过PhantomJS、chromedriver等配合Selenium模拟浏览器动作,抓取经过js渲染后的页面。


    使用这种方法有时会遇到定位网页页面元素定位不准的情况,这时就要注意网页中的frame标签,frame标签有frameset、frame、iframe三种,frameset跟其他普通标签没有区别,不会影响到正常的定位,而frame与iframe对selenium定位而言是一样的,需要进行frame的跳转。


    以上就是如何抓取AJAX异步加载页面的方法,仅供参考。不管是面对哪种反爬虫,其实只要舍得花成本,还是有方法可以抓取的,毕竟不管反爬虫多么的厉害,也是人弄的,总有人技术更好。但是当成本高于经济效率时,自然就不会抓取了。


相关文章内容简介
推荐阅读
  • 21 2020-10
    网络掉线了这么解决

    使用代理ip软件的人可能有时候会遇到掉线,就以玩游戏来说,游戏玩得正兴奋突然就网络连接中断就别提多心痛了,掉线的原因可能有很多,情况也较为复杂,一般可能是代理ip软件线路的问

  • 13 2019-04
    爬虫又是怎么突破IP限制,突破反爬的呢?代理IP管用吗?

    网站有爬虫,自然也是有反爬的,否则爬虫岂不是翻天了?网站该如何“反爬”?爬虫又是怎么突破IP限制,突破反爬的呢?代理IP管用吗?

  • 29 2019-05
    换IP使用代理IP会比较好些

    在做网络的一些工作时,有时候不能频繁的去更换ip,也不能多账号使用同一个IP,或者只需要每个账号注册的时候保持IP不重复,这样比较麻烦。因为我们手动切换IP地址这些控制不了,还是换I

  • 17 2020-04
    爬虫使用代理ip方式

    互联网在不断的发展,许多工作也逐渐开展线上操作,例如爬虫大数据等,相信很多网络工作者在爬虫的时候也用到不少代理ip了。那么,大家知道爬虫对代理ip的使用要关注什么呢?

  • 09 2020-10
    爬虫使用高匿代理IP的必要性

    对于爬虫来说,在听到ip代理的时候,听得最多的莫过于透明代理、匿名代理、高匿代理这几个词了,那么分别是什么意思呢?互相之间有什么样的区别呢?为什么说爬虫ip代理一定要使用高匿

  • 26 2019-11
    代理IP付费挑选要仔细

    随着网络的发展,我们对代理服务的认识更加深,换IP也越来越多人掌握到了使用方法了。在选择代理IP的时候,付费代理毕竟是自己花真金白银来购买的,在选择的时候也要多注意些。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部