您的位置:首页 > 新闻资讯 >文章内容
实战:爬虫利用IP代理去爬取喜马拉雅的音频数据
来源:互联网 作者:admin 时间:2019-04-10 18:03:09

爬虫利用IP代理去爬取喜马拉雅的音频数据,这方法可行吗?因为网站有限制,我们使用IP代理先处理这个IP限制的问题,这样爬取就会顺利些。

本次爬取的是喜马拉雅的热门栏目下全部电台的每个频道的信息和频道中的每个音频数据的各种信息,然后把爬取的数据保存到mongodb以备后续使用。这次数据量在70万左右。音频数据包括音频下载地址,频道信息,简介等等,非常多。

爬虫利用IP代理去爬取喜马拉雅的音频数据的案例分析如下:

1.首先进入这次爬取的主页面 ,可以看到每页12个频道,每个频道下面有很多的音频,有的频道中还有很多分页。抓取计划:循环84个页面,对每个页面解析后抓取每个频道的名称,图片链接,频道链接保存到mongodb。

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

2.打开开发者模式,分析页面,很快就可以得到想要的数据的位置。下面的代码就实现了抓取全部热门频道的信息,就可以保存到mongodb中。

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据


3.下面就是开始获取每个频道中的全部音频数据了,前面通过解析页面获取到了美国频道的链接。

比如我们进入 http://www.ximalaya.com/6565682/album/237771 这个链接后分析页面结构。可以看出每个音频都有特定的ID,这个ID可以在一个div中的属性中获取。使用split()和int()来转换为单独的ID。

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

4.接着点击一个音频链接,进入开发者模式后刷新页面然后点击XHR,再点击一个json链接可以看到这个就包括这个音频的全部详细信息。

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

5.上面只是对一个频道的主页面解析全部音频信息,但是实际上频道的音频链接是有很多分页的。

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据


6.全部代码

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

7.如果改成异步的形式可以快一点,只需要修改成下面这样就行了。我试了每分钟要比普通的多获取近100条数据。这个源代码也在github中。

实战:爬虫利用IP代理去爬取喜马拉雅的音频数据

这次抓取的数据量在70万左右,这些数据后续可以进行很多研究,比如播放量排行榜、时间区段排行、频道音频数量等等。后续我将继续学习使用科学计算和绘图工具来进行数据分析,清洗的工作。

以上分享了爬虫利用IP代理去爬取喜马拉雅的音频数据的案例,大家可以参考下,或者是分享更多的爬取方法的。


相关文章内容简介
推荐阅读
  • 05 2019-07
    有代理IP可以高频访问目标吗?

    有代理IP可以高频访问目标吗?在没有使用代理ip之前,这肯定是不行的,平常我们就连点击快一些就会被提示访问的速度过快的,但如果使用了代理IP,是不是结果不一样呢?

  • 04 2019-04
    下载图片最快的方法--用IP代理绕过限制爬取

    我们需要下载大量的资料时,人工下载不知得何年何月了。就比如下载图片,一个一个下载,操作繁琐,不停的重复,还没有休息,效率也没有见提上去,有没有更快的下载方法呢?

  • 11 2019-10
    代理IP添加API为什么要验证 这么麻烦?

    为什么使用代理IP的时候需要经过验证这么一个步骤?我不是已经付过费成为用户了吗?为什么不让我直接就用,还得要经过验证后才能够正常使用?下面机灵代理为大家进行解答。

  • 26 2019-12
    代理ip的主要功能!

    代理ip的主要功能!现在有许多人都喜欢使用代理ip​来提供更好的网络服务,一般来说通常是为了隐藏真实的IP地址避免被追踪,除此之外代理ip还有些什么功能呢?

  • 31 2019-05
    机灵代理带你Get修改IP的用处

    修改IP,这是非常常见的事情,不过修改IP都有什么用呢?修改ip也就是更改设备的ip,可以称为网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个代理中转与另一

  • 01 2019-06
    IP地址被屏蔽快速切换IP

    遇到IP地址被屏蔽快速切换IP就能决解了吗?有时候,在贴吧发帖,怎么也发布不成功帖子,这就有可能是IP地址被屏蔽。这种情况该如何换IP呢?IP地址被屏蔽怎么切换IP?跟小编来瞧一瞧:

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部