对于AJAX异步加载，大部分都是不理解的，但是我们都见过。其实我们日常使用设备上网的时候，经常会遇到AJAX异步加载，比如搜索信息会先出来一部分数据，当玩下滑的时候不断有新的数据出现。

    也就死说，使用AJAX异步加载，可以实现在不重新加载整个网页的情况下，对网页的某部分进行更新。那么对于网站使用AJAX异步加载后，爬虫是怎么进行抓取的？

    对于这类网页，我们一般采用两种方法：

    1、通过抓包找到异步加载请求的真正地址

    2、通过PhantomJS等无头浏览器执行JS代码后再抓取

    但是通常采取第一种方法，因为第二种方法使用无头浏览器会大大降低抓取的效率。

    异步加载网站抓取示例 ：

    使用豆瓣电影分类排行榜作为抓取示例，电影信息网页源码中没有，并且采用鼠标下拉更新页面，这时需要我们在需要抓取的页面打开Chrome的开发者工具，选择network，实现一次下拉刷新

    发现新增了一个get请求，并且响应为JSON格式。观察JSON的内容，发现正是需要抓取的内容。

    抓取内容的问题解决了，接下来处理多页抓取问题，因为请求为get形式，所以首先进行几次下拉刷新，观察请求链接的变化，会发现请求的地址中只有start的值在变化，并且每次刷新增加20，其他都不变，所以我们更改这个参数就可以实现翻页。

    由于之前已经在items.py中对需要抓取的数据做了声明，所以只需要在scraoyspider/spiders目录下创建一个新的爬虫文件

    douban_actions.py，代码如下：

    然而，很多时候ajax请求都会经过后端鉴权，不能直接构造URL获取。这时就可以通过PhantomJS、chromedriver等配合Selenium模拟浏览器动作，抓取经过js渲染后的页面。

    使用这种方法有时会遇到定位网页页面元素定位不准的情况，这时就要注意网页中的frame标签，frame标签有frameset、frame、iframe三种，frameset跟其他普通标签没有区别，不会影响到正常的定位，而frame与iframe对selenium定位而言是一样的，需要进行frame的跳转。

    以上就是如何抓取AJAX异步加载页面的方法，仅供参考。不管是面对哪种反爬虫，其实只要舍得花成本，还是有方法可以抓取的，毕竟不管反爬虫多么的厉害，也是人弄的，总有人技术更好。但是当成本高于经济效率时，自然就不会抓取了。