您的位置:首页 > 新闻资讯 >文章内容
爬虫效率太慢,使用多进程效果怎么样?
来源:互联网 作者:admin 时间:2019-02-26 16:05:24

  当我们想要提高爬虫的爬取效率时,可以使用多进程,多线程,协程等,那么使用哪种方法比较好呢?今天先跟小编来了解下关于多进程,进程创建方法,以及多进程的优缺点。


  一、什么是进程


  最直观的就是一个个pid,官方的说法就:进程是程序在计算机上的一次执行活动。


  代码中的进程是指没有运行之前,称之为程序,程序运行起来就是一个进程,如果只有一个进程,称之为主进程。如果通过这个进程创建了其他进程,称之为子进程。


  二、进程创建


  1.面向过程


爬虫效率太慢,使用多进程效果怎么样?


  2.面向对象


爬虫效率太慢,使用多进程效果怎么样?


  3.进程之间是否共享局部变量:不共享局部变量


  4.进程之间是否共享全局变量:不共享全局变量


  5.进程池


爬虫效率太慢,使用多进程效果怎么样?


  三、多进程的优缺点


  优点:就是稳定性高,因为一个子进程崩溃了,不会影响主进程和其他子进程。(当然主进程挂了所有进程就全挂了,但是Master进程只负责分配任务,挂掉的概率低)著名的Apache最早就是采用多进程模式。


  缺点:创建进程的代价大,在Unix/Linux系统下,用fork调用还行,在Windows下创建进程开销巨大。另外,操作系统能同时运行的进程数也是有限的,在内存和CPU的限制下,如果有几千个进程同时运行,操作系统连调度都会成问题。


  上文介绍了多进程的一些基本知识。在多核CPU上,可以运行多个进程(数量与CPU核心数相同),充分利用多核CPU。由于系统总的进程数量十分有限,因此操作系统调度非常高效。


相关文章内容简介
推荐阅读
  • 12 2019-11
    使用代理IP能否指定host?

    代理IP的使用过程中,我们会遇到很多的疑问,因为代理IP能够应用在很多方面,不仅仅是可以搭配爬虫程序来使用。今天机灵代理就来为大家解答一个经常被提到的问题:

  • 25 2020-01
    什么代理ip适合电商

    如今电商事业发展是有目共睹的如火如荼,但是很多商家以前要为自己添加客源还是需要很多高质量代理ip资源。因为他们平时所用的添加客源的平台功能是非常单一的,不是这些软件每天添加

  • 18 2019-09
    使用代理IP 我们能做什么?

    代理IP用于爬虫我们听得多了,可是爬虫并不是每个人都需要用到啊,这样代理IP的使用范围不就很窄吗?谁说代理IP只能够用来爬虫的,它可是大有用途呢?下面机灵代理让你看看IP代理还能拿来

  • 23 2019-04
    动态代理ip意味IP地址是不停变化的

    动态代理ip意味IP地址是不停变化的,但是我们只需要设置一次,IP地址也就能自动变化了,这样的效果对于一些项目来说比较好,如果老是要手动换这就太麻烦了。

  • 21 2020-07
    换ip发帖要注意什么

    贴吧是个比较大的平台,用户比较多,所发的信息容易被收录,获得好的排名,所以一直都是网络营销人员的重要的平台。想在贴吧引流,肯定是要多宣传自身品牌,留有联系方式或者是网址的

  • 26 2019-05
    平台限制刷票代理IP能否突破

    平台限制刷票代理IP能否突破?刷票不少见,不管是什么投票活动,总是有人想要拿到排名奖品的,但是如果票数不多,可能就会想着去刷票。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部