您的位置:首页 > 新闻资讯 >文章内容
用爬虫代理爬取豆瓣电影榜单并构建知识图谱
来源: Python中文社区 KingShine 作者:admin 时间:2019-04-11 10:06:27

用爬虫代理爬取豆瓣电影榜单并构建知识图谱:想学习知识图谱,奈何没有数据,只能自己找,于是选择了豆瓣电影。首先我们要通过爬虫去爬取电影榜单,之后再进行知识图谱的构建的,那么如何实现呢?

一、分析问题

豆瓣电影Top250主页面看着信息比较完整,仔细看会发现主演内容不全,查看网页源代码。

直接爬取主页面,主演内容会获取不全。于是想到进入每个电影的详细页面进行爬取,打开第一个电影,可以看到如下。

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

信息比较全,所以决定数据从电影详细页爬取。
构建知识图谱首先选择所要存储的字段。经过考虑和大家的兴趣,主要探索导演、演员、电影的关系,再加上电影类型。所以确定所要爬取的字段为

  • 电影名称

  • 导演

  • 演员

  • 电影类型

本文的操作过程步骤如下:
第一步:从主页爬取到每个电影详细页的地址,进行存储
第二步:读取第一步中电影地址列表,依次爬取每个电影的信息,进行存储
第三步:对爬取的电影数据提取整合出知识图谱的结点和关系
结点:

  • 电影结点(电影ID,电影名称,标签)

  • 导演结点(导演ID,导演名称,标签)

  • 演员结点(演员ID,演员名称,标签)

  • 类型结点(类型ID,类型名称,标签)

关系:

  • 导演——电影关系(导演)

  • 演员——电影关系(出演)

  • 导演——演员关系(合作)

  • 电影——类型关系(属于)

第四步:将结点和关系导入Neo4j,生成图谱

二、爬取数据

一开始用的Scrapy框架爬取,获取电影URL比较简单,获取到的URL为下面样式:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

下面对电影详细页进行爬取。

一开始继续使用scrapy,弄了半天,发现电影、导演、类型都爬下来了,可是演员怎么都获取不到。后来才注意到演员是JS动态生成的,真是浪费感情了。于是使用requests+BeautifulSoup来爬取数据。

代码如下:

读取详细页URL列表

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

遍历URL列表,爬取每个页面信息,将每个页面的信息存储在results列表

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

将爬取结果导出到CSV文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

导出的文件如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

三、生成结点和关系

数据有了,下一步就是整理出所需要的可以直接导入到Neo4j的结点和关系文件。
结点:

  • 电影结点(电影ID,电影名称,标签)

  • 导演结点(导演ID,导演名称,标签)

  • 演员结点(演员ID,演员名称,标签)

  • 类型结点(类型ID,类型名称,标签)

提取结点的主要代码如下:

下面主要获得电影、导演、演员、类型的集合,方便ID编码

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

下面生成电影、导演、演员、类型的ID

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

拼接结点数据

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

生成结点文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

关系:

  • 导演——电影关系(导演)

  • 演员——电影关系(出演)

  • 导演——演员关系(合作)

  • 电影——类型关系(属于)

读取以上生成的结点文件

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

遍历文件,拼接出关系表,主要代码如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

导出到CSV

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

这样所需要的结点和关系文件就生成好了

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

director.csv文件格式如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

relationship_director_film.csv文件格式如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

四、导入Neo4j,生成图谱

使用如下语句导入

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

需要注意的是,这种导入方式需要保证你的数据库中没有movie.db,否则会报错。因为Neo4j默认的数据库为graph.db,所以导入成功后,需要修改neo4j.conf文件,才能查看刚才生成的数据库。修改如下:

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

重新启动Neo4j后,你就会看到你的数据了。
我们来查看一下效果。

用爬虫代理爬取豆瓣电影榜单并构建知识图谱

以上介绍了用爬虫代理爬取豆瓣电影榜单并构建知识图谱的整个过程,可供参考。

相关文章内容简介
推荐阅读
  • 15 2019-03
    获取10000个代理IP要多久?

    很多企业都需要使用到网络爬虫,主要是用于爬取数据。而网络爬虫难点主要集中在用户登录问题,屏蔽IP,验证码问题,如何做到分布式,以及异步请求问题。对于这些问题,我们要一步一步

  • 26 2019-03
    代理ip服务器提供商该如何选择?

    现如今越来越多的拨号宽带变成了代理服务器,而且服务器的价格要比宽带更为便宜,其网速在运营过程中更加高效,一般大品牌的服务器提供商会为大家提供一个免费的注册账号,让大家测试

  • 31 2019-03
    Python爬虫学习,IP代理是如何配合爬虫工作的?

    在大数据时代,爬虫其实是可以做很多的事情,比如爬取商品价格、旅游路线价格、热门音乐、股票信息、机票信息等等,几乎是所有的信息,爬虫都是可以爬取的。

  • 17 2019-05
    代理IP要合理使用避免网站排名出问题

    代理IP要合理使用避免网站排名出问题,如果滥用代理IP,导致网站被发现,后果是很严重的。每一个经营网站的人员应该都有这样的体会,这几年的白帽SEO越来越难做了,伴随搜索引擎技术的

  • 29 2019-07
    HTTP代理和HTTP协议的特点

    HTTP代理和HTTP协议的特点,是不是网站使用了HTTP协议,我们进行数据爬取的时候都可以使用HTTP代理来应对网站关于IP的限制呢?

  • 05 2019-08
    代理IP设置使用的五个不同方法

    由于同一个IP反复爬取同一个网页,就很可能被封,所以如果需要爬虫出面进行爬取,这需要使用代理IP的,但是怎么使用代理IP呢?这里介绍代理IP设置使用的五个不同方法,大家可以参考下的

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961