您的位置:首页 > 新闻资讯 >文章内容
用爬虫代理爬取豆瓣电影榜单并构建知识图谱
来源: Python中文社区 KingShine 作者:admin 时间:2019-04-11 10:06:27

用爬虫代理爬取豆瓣电影榜单并构建知识图谱:想学习知识图谱,奈何没有数据,只能自己找,于是选择了豆瓣电影。首先我们要通过爬虫去爬取电影榜单,之后再进行知识图谱的构建的,那么如何实现呢?

一、分析问题

豆瓣电影Top250主页面看着信息比较完整,仔细看会发现主演内容不全,查看网页源代码。

直接爬取主页面,主演内容会获取不全。于是想到进入每个电影的详细页面进行爬取,打开第一个电影,可以看到如下。

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

信息比较全,所以决定数据从电影详细页爬取。
构建知识图谱首先选择所要存储的字段。经过考虑和大家的兴趣,主要探索导演、演员、电影的关系,再加上电影类型。所以确定所要爬取的字段为

  • 电影名称

  • 导演

  • 演员

  • 电影类型

本文的操作过程步骤如下:
第一步:从主页爬取到每个电影详细页的地址,进行存储
第二步:读取第一步中电影地址列表,依次爬取每个电影的信息,进行存储
第三步:对爬取的电影数据提取整合出知识图谱的结点和关系
结点:

  • 电影结点(电影ID,电影名称,标签)

  • 导演结点(导演ID,导演名称,标签)

  • 演员结点(演员ID,演员名称,标签)

  • 类型结点(类型ID,类型名称,标签)

关系:

  • 导演——电影关系(导演)

  • 演员——电影关系(出演)

  • 导演——演员关系(合作)

  • 电影——类型关系(属于)

第四步:将结点和关系导入Neo4j,生成图谱

二、爬取数据

一开始用的Scrapy框架爬取,获取电影URL比较简单,获取到的URL为下面样式:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

下面对电影详细页进行爬取。

一开始继续使用scrapy,弄了半天,发现电影、导演、类型都爬下来了,可是演员怎么都获取不到。后来才注意到演员是JS动态生成的,真是浪费感情了。于是使用requests+BeautifulSoup来爬取数据。

代码如下:

读取详细页URL列表

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

遍历URL列表,爬取每个页面信息,将每个页面的信息存储在results列表

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

将爬取结果导出到CSV文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

导出的文件如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

三、生成结点和关系

数据有了,下一步就是整理出所需要的可以直接导入到Neo4j的结点和关系文件。
结点:

  • 电影结点(电影ID,电影名称,标签)

  • 导演结点(导演ID,导演名称,标签)

  • 演员结点(演员ID,演员名称,标签)

  • 类型结点(类型ID,类型名称,标签)

提取结点的主要代码如下:

下面主要获得电影、导演、演员、类型的集合,方便ID编码

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

下面生成电影、导演、演员、类型的ID

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

拼接结点数据

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

生成结点文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

关系:

  • 导演——电影关系(导演)

  • 演员——电影关系(出演)

  • 导演——演员关系(合作)

  • 电影——类型关系(属于)

读取以上生成的结点文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

遍历文件,拼接出关系表,主要代码如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

导出到CSV

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

这样所需要的结点和关系文件就生成好了

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

director.csv文件格式如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

relationship_director_film.csv文件格式如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

四、导入Neo4j,生成图谱

使用如下语句导入

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

需要注意的是,这种导入方式需要保证你的数据库中没有movie.db,否则会报错。因为Neo4j默认的数据库为graph.db,所以导入成功后,需要修改neo4j.conf文件,才能查看刚才生成的数据库。修改如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

重新启动Neo4j后,你就会看到你的数据了。
我们来查看一下效果。

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

以上介绍了用爬虫代理爬取豆瓣电影榜单并构建知识图谱的整个过程,可供参考。

相关文章内容简介
推荐阅读
  • 11 2019-02
    如何利用python爬虫来抓取代理IP

    python网络爬虫的学习以及实现相对简单些,许多人都自学python,使用python来编写爬虫获取数据,但单靠理论是无法进步的,实战才能走远,今天小编普及以下如何利用python爬虫来抓取代理IP。

  • 16 2019-04
    三点看完爬虫代理质量,提前了解选择有底

    三点看完爬虫代理质量,提前了解选择有底:随着互联网的快速发展、用户需求的不断增长以及爬虫代理的迅速崛起,很多用户都喜欢使用爬虫代理来实现一些目标。由于庞大而开放的爬虫代理

  • 31 2019-10
    按地区选择代理IP

    代理IP能够按照区域来选择吗?如果我只是想要某个城市的IP,我能够怎么获取?下面我们来看看具体的操作:

  • 13 2019-06
    独享代理IP池有什么优势?

    独享代理IP池有什么优势?一样东西,如果是共享的,怎么也会影响到使用,没有那么方便,估计也可能会影响到效果的。那么如果独享呢?我们以代理IP池为例,看看独享代理IP池有什么优势?

  • 27 2019-08
    代理IP教你游戏账号不被封妙招

    一些喜欢代练账号、多开账号挂机的资深玩家,在玩游戏的时候都会遇到游戏账号被封杀的情况。用代理IP可以减少这种情况发生,那么除了IP代理,还有什么方式能够尽可能避免账号被封呢?

  • 17 2020-06
    改ip软件的使用非常方便

    网络时代,ip的应用渗透在方方面面,我们对于代理ip的认识也需要进行加深,这样才能够更好地适应。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部