您的位置:首页 > 新闻资讯 >文章内容
用爬虫代理爬取豆瓣电影榜单并构建知识图谱
来源: Python中文社区 KingShine 作者:admin 时间:2019-04-11 10:06:27

用爬虫代理爬取豆瓣电影榜单并构建知识图谱:想学习知识图谱,奈何没有数据,只能自己找,于是选择了豆瓣电影。首先我们要通过爬虫去爬取电影榜单,之后再进行知识图谱的构建的,那么如何实现呢?

一、分析问题

豆瓣电影Top250主页面看着信息比较完整,仔细看会发现主演内容不全,查看网页源代码。

直接爬取主页面,主演内容会获取不全。于是想到进入每个电影的详细页面进行爬取,打开第一个电影,可以看到如下。

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

信息比较全,所以决定数据从电影详细页爬取。
构建知识图谱首先选择所要存储的字段。经过考虑和大家的兴趣,主要探索导演、演员、电影的关系,再加上电影类型。所以确定所要爬取的字段为

  • 电影名称

  • 导演

  • 演员

  • 电影类型

本文的操作过程步骤如下:
第一步:从主页爬取到每个电影详细页的地址,进行存储
第二步:读取第一步中电影地址列表,依次爬取每个电影的信息,进行存储
第三步:对爬取的电影数据提取整合出知识图谱的结点和关系
结点:

  • 电影结点(电影ID,电影名称,标签)

  • 导演结点(导演ID,导演名称,标签)

  • 演员结点(演员ID,演员名称,标签)

  • 类型结点(类型ID,类型名称,标签)

关系:

  • 导演——电影关系(导演)

  • 演员——电影关系(出演)

  • 导演——演员关系(合作)

  • 电影——类型关系(属于)

第四步:将结点和关系导入Neo4j,生成图谱

二、爬取数据

一开始用的Scrapy框架爬取,获取电影URL比较简单,获取到的URL为下面样式:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

下面对电影详细页进行爬取。

一开始继续使用scrapy,弄了半天,发现电影、导演、类型都爬下来了,可是演员怎么都获取不到。后来才注意到演员是JS动态生成的,真是浪费感情了。于是使用requests+BeautifulSoup来爬取数据。

代码如下:

读取详细页URL列表

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

遍历URL列表,爬取每个页面信息,将每个页面的信息存储在results列表

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

将爬取结果导出到CSV文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

导出的文件如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

三、生成结点和关系

数据有了,下一步就是整理出所需要的可以直接导入到Neo4j的结点和关系文件。
结点:

  • 电影结点(电影ID,电影名称,标签)

  • 导演结点(导演ID,导演名称,标签)

  • 演员结点(演员ID,演员名称,标签)

  • 类型结点(类型ID,类型名称,标签)

提取结点的主要代码如下:

下面主要获得电影、导演、演员、类型的集合,方便ID编码

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

下面生成电影、导演、演员、类型的ID

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

拼接结点数据

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

生成结点文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

关系:

  • 导演——电影关系(导演)

  • 演员——电影关系(出演)

  • 导演——演员关系(合作)

  • 电影——类型关系(属于)

读取以上生成的结点文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

遍历文件,拼接出关系表,主要代码如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

导出到CSV

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

这样所需要的结点和关系文件就生成好了

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

director.csv文件格式如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

relationship_director_film.csv文件格式如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

四、导入Neo4j,生成图谱

使用如下语句导入

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

需要注意的是,这种导入方式需要保证你的数据库中没有movie.db,否则会报错。因为Neo4j默认的数据库为graph.db,所以导入成功后,需要修改neo4j.conf文件,才能查看刚才生成的数据库。修改如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

重新启动Neo4j后,你就会看到你的数据了。
我们来查看一下效果。

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

以上介绍了用爬虫代理爬取豆瓣电影榜单并构建知识图谱的整个过程,可供参考。

相关文章内容简介
推荐阅读
  • 19 2019-12
    使用代理IP​有什么好处呢?

    使用代理IP​有什么好处呢?为什么要用代理IP来更换IP地址?明明像一些普通用户根本不需要去开展爬虫工作,但是也会选择向代理服务商购买服务?这是为什么呢?使用代理IP对我们又有什么好处呢

  • 15 2019-05
    借用https代理ip刷单靠谱吗?

    借用https代理ip刷单靠谱吗?其实在之前,而且https代理ip平台,并没有在大众用户中普及。更多需要购买这种服务的都是一些淘宝商家或者电商人员。因为他们需要借助这种功能来进行刷单或者

  • 02 2019-07
    难道HTTP代理比SOCKS5代理好用?

    难道HTTP代理比SOCKS5代理好用?说起HTTP代理IP,很多朋友都知道,也知道怎么使用,然而说起SOCKS5代理IP,很多朋友都是一脸茫然,那是什么玩意,用来做什么的。很多朋友咨询代理IP时,看到机

  • 28 2019-03
    ip怎么样才不会被检测到?这家高匿名代理好用

    当下这个网络时代,既方便了大家但也带来一定的影响,网络数据传得快,保密性不好,因此有些开始注意保护自己得信息,对于IP地址这一块,大家有什么想法呢?ip怎么样才不会被检测到?

  • 04 2019-07
    找个能用的高匿名IP代理

    找个能用的高匿名IP代理,网上很多不能用的免费IP代理,而且很多都是透明的,或者普通匿名的,效果不好,需要找个能用的高匿名IP代理。

  • 27 2019-03
    爬走代理设置IP的方法有哪些?

    现如今很多网站在制作爬走代理时,一般都会用爬虫爬取想要的各种资料,尤其是使用计算机自动抓取,这就需要我们在使用服务器时有一个强度大、速度快的服务器,而通常我们所使用的网站

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部