您的位置:首页 > 新闻资讯 >文章内容
案例分享:Python爬虫爬取热门歌单
来源:互联网 作者:admin 时间:2019-03-29 17:11:28

  Python代码可以做很多的事情,用途比较广泛,比如想知道最近热门的歌单,这也是可以做到的。而且非常简单,零基础都能实现,15行代码便能搞定了。


  用的是Selenium模块,它是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等等操作,对于一些 JavaScript 渲染的页面来说,此种抓取方式非常有效。


  若你的环境中没有Selenium模块,直接使用pip安装即可。


  打开谷歌浏览器,检查Chrome的版本:在浏览器地址中输入 chrome://settings/help 回车即可看到。


  打开ChromeDriver 的官方网站,寻找与你当前浏览器版本相对应的ChromeDriver,选择你自己的操作系统类型进行下载即可。


  以Windows为例,下载结束后,将ChromeDriver 放置在Python安装目录下的Scripts文件夹即可。


案例分享:Python爬虫爬取热门歌单


  我们这次的目标是爬取热门歌单,比如网易云音乐中播放量大于1000万的歌单信息(歌单名称、链接)。


  1.先来打开网易云的歌单第一页,使用Chrome的开发者工具<F12>进行分析。


案例分享:Python爬虫爬取热门歌单


  2.我们想要拿的信息全在这里:


  msk,封面[mask]:有歌单的名称及链接


  nb,播放数[number broadcast]:135万


  3.我们还需要遍历所有的页,使用工具继续分析,找到“下一页”的URL。


案例分享:Python爬虫爬取热门歌单


  4.切换至最后一页,拿到最后一页的URL。


案例分享:Python爬虫爬取热门歌单


  5.等我们爬取完所有符合的歌单信息后,将其保存在本地。


  6.全部工作结束,最后再通过下面的伪代码回顾下整体思路。


案例分享:Python爬虫爬取热门歌单


  7.爬取的效果如下:


案例分享:Python爬虫爬取热门歌单


  以上便是Python代码搞定热门歌单,难不!可能对于小白来说,很多知识还不是很懂,这可以先去了解下基础的知识点。


相关文章内容简介
推荐阅读
  • 20 2019-03
    JavaScript渲染的网页,为什么使用IP代理也获取不了

    JavaScript渲染的网页,为什么使用IP代理也获取不了?网站有静态页面,也有动态页面,这经过JavaScript渲染的网页,我们在抓取的时候并没有那么顺利,即使使用了代理IP来突破限制,也不行。那

  • 27 2019-03
    QQIP代理是怎样运营的?

    QQ上的IP代理是比较常见的一种软件,可以给你提供定时的切换,或者是挂上你的QQ号。别因为有很多的人并不了解这种QQIP代理应该怎样使用?下面就对这样的一个情况进行一个介绍,让你再了

  • 19 2019-08
    除了代理IP,还有哪些隐藏IP的方法?

    进入互联网+时代,大家对于个人隐私的保护越来越重视,利用代理IP隐藏个人IP已经不是什么新鲜事了。除了使用代理IP之外,还有什么方法也能做到隐藏IP呢?

  • 08 2019-11
    3方面区分线程IP、动态IP

    线程IP跟动态IP有什么不同?代理IP选择什么类型的IP合适?我们下面就来了解线程IP池跟普通动态转发的不同之处。

  • 26 2020-01
    代理ip的使用方法

    很多人都想使用高质量代理ip​,但是他们并找不到合适的途径,下面给大家介绍几种关于代理ip的一些使用方法,这些方法可以用于我们平时的系统操作当中,可以让我们的网络有更好的保障

  • 08 2019-08
    QQ用代理服务器要用高匿名么

    QQ用代理服务器要用高匿名么?如何修改QQIP地址?腾讯QQ是我们经常使用的一款聊天工具,不管是工作还是和好友联系,都经常使用到QQ。如果我们在使用QQ的时候不想让别人看到自己当地的IP地址

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部