您的位置:首页 > 新闻资讯 >文章内容
分布式爬虫加上http代理高效采集
来源:互联网 作者:admin 时间:2019-08-06 15:25:34

    分布式爬虫加上http代理高效采集,这数据的采集肯定是要有效率的,相对于单个网络爬虫而言,分布式爬虫和http代理是提高效率的工具,http代理可以使用机灵代理。那么分布式网络爬虫怎么用呢?


    分布式网络爬虫就是多台电脑上都安装网络爬虫程序,重点是联合采集。单机网络爬虫就是只在一台电脑上,叫做单机。前嗅的ForeSpider数据采集系统就有单机和网络服务器版,比如只在一台网络服务器上的网络爬虫,虽然开了多进程,但还是网络服务器单机的。但是假如在多个网络服务器上,而且可以协同采集,就是分布式的。


分布式爬虫加上http代理高效采集


    分布式网络爬虫


    分布式网络爬虫可以分为若干个分布式层级,不同的应用可能由其中部分层级构成,下图是一个大型分布式网络爬虫的3个层级:分布式数据中心、分布式抓取网络服务器及分布式网络爬虫程序。整个网络爬虫系统由全球多个分布式数据中心共同构成,每一个数据中心负责抓取本地域周边的网站网页。


    每一个数据中心又由多台高速网络连接的抓取网络服务器构成,而每台网络服务器又可以部署多个网络爬虫程序。通过多层级的分布式网络爬虫体系,才可能保证抓取数据的及时性和全面性。


    对于同一数据中心的多台抓取网络服务器,不同机器之间的分工协同方式会有差异,常见的分布式架构有两种:主从式分布网络爬虫和对等式分布网络爬虫。


    主从式分布网络爬虫(Master-Slave)


    对于主从式分布网络爬虫,不同的网络服务器承担不同的角色分工,其中有一台专门负责对其他网络服务器提供URL分发服务,其他机器则进行实际的网页下载。URL网络服务器维护待抓取URL队列,并从中获得待抓取网页的URL,分配给不同的抓取网络服务器,另外还要对抓取网络服务器之间的工作进行负载均衡,使得各个网络服务器承担的工作量大致相等,不至于出现忙的过忙、闲的过闲的情形。抓取网络服务器之间没有通信联系,每一个抓取网络服务器只和URL网络服务器进行消息传递。


分布式爬虫加上http代理高效采集


    对等式分布网络爬虫(Peer to Peer)


    在对等式分布网络爬虫体系中,网络服务器之间不存在分工差异,每台网络服务器承担相同的功能,各自负担一部分URL的抓取工作。


    由网络服务器自己来判断某个URL是否应该由自己来抓取,或者将这个URL传递给相应的网络服务器。至于采取的判断方法,则是对网址的主域名进行哈希计算,之后取模(即hash[域名]%m,这里的m对应网络服务器个数),假如计算所得的值和抓取网络服务器编号匹配,则自己下载该网页,否则将该网址转发给对应编号的抓取网络服务器。


    为了解决哈希取模的对等式分布网络爬虫存在的问题,UbiCrawler网络爬虫提出了改进方案,即放弃哈希取模方式,转而采用一致性哈希方法(Consisting Hash)来确定网络服务器的任务分工。


    对等式分布网络爬虫(一致性哈希)


    一致性哈希将网站的主域名进行哈希,映射为一个范围在0到232之间的某个数值,大量的网站主域名会被均匀地哈希到这个数值区间。将哈希值范围首尾相接,即认为数值0和最大值重合,这样可以将其看做有序的环状序列,从数值0开始,沿着环的顺时针方向,哈希值逐渐增大,直到环的结尾。而某个抓取网络服务器则负责这个环状序列的一个片段,即落在某个哈希取值范围内的URL都由该网络服务器负责下载。这样即可确定每台网络服务器的职责范围。


相关文章内容简介
推荐阅读
  • 27 2020-11
    什么样的ip代理成本最低呢

    随着互联网的快速发展,互联网公司是否已经开始收集和分析大数据,并建立自己的大型数据库,催生了无数的数据收集公司,这就是我们所说的网络爬虫/网络蜘蛛。网络爬虫在数据采集过程

  • 18 2020-02
    代理ip知识大汇总

    关于代理IP,光是看机灵代理官网上的套餐信息,可能大家无法很全面的知道自己要购买的是什么产品。接下来,我们通过这一篇文章来好好介绍一下代理IP这个产品。

  • 26 2019-06
    代理IP是不是高匿重要吗?

    代理IP是不是高匿重要吗?代理根据匿名程度来分的话,可以分了透明代理,普通匿名代理,还有高匿名代理的,这几个有什么区别呢?

  • 06 2020-11
    浅谈代理ip类型变量

    代理类型主要取决于代理服务器端的配置。不同配置会形成不同的代理类型。在配置中,这三个变量REMOTE_ADDR,HTTP_VIA,HTTP_X_FORWARDED_FOR是决定性因素。

  • 24 2019-06
    更换IP一定要用代理IP吗?

    更换IP一定要用代理IP吗?每台设备都需要IP地址才能上网,但是一般我们设备的IP都是同一个地区的或者是相同的,很多用户都遇到过下面这些情况,比如在一些网站上面批量注册帐号、发布留

  • 26 2019-09
    代理IP解析在互联网中如何保全自己IP安全?

    互联网+时代,网络攻击事件的发生概率是越来越大了,不要以为自己只是普通用户,也没有什么“机密”可被窃取。你对个人信息可是也被不少不法分子虎视眈眈着,信息泄露引发的事件,新

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部