您的位置:首页 > 新闻资讯 >文章内容
爬虫效率太慢,使用多进程效果怎么样?
来源:互联网 作者:admin 时间:2019-02-26 16:05:24

  当我们想要提高爬虫的爬取效率时,可以使用多进程,多线程,协程等,那么使用哪种方法比较好呢?今天先跟小编来了解下关于多进程,进程创建方法,以及多进程的优缺点。


  一、什么是进程


  最直观的就是一个个pid,官方的说法就:进程是程序在计算机上的一次执行活动。


  代码中的进程是指没有运行之前,称之为程序,程序运行起来就是一个进程,如果只有一个进程,称之为主进程。如果通过这个进程创建了其他进程,称之为子进程。


  二、进程创建


  1.面向过程


爬虫效率太慢,使用多进程效果怎么样?


  2.面向对象


爬虫效率太慢,使用多进程效果怎么样?


  3.进程之间是否共享局部变量:不共享局部变量


  4.进程之间是否共享全局变量:不共享全局变量


  5.进程池


爬虫效率太慢,使用多进程效果怎么样?


  三、多进程的优缺点


  优点:就是稳定性高,因为一个子进程崩溃了,不会影响主进程和其他子进程。(当然主进程挂了所有进程就全挂了,但是Master进程只负责分配任务,挂掉的概率低)著名的Apache最早就是采用多进程模式。


  缺点:创建进程的代价大,在Unix/Linux系统下,用fork调用还行,在Windows下创建进程开销巨大。另外,操作系统能同时运行的进程数也是有限的,在内存和CPU的限制下,如果有几千个进程同时运行,操作系统连调度都会成问题。


  上文介绍了多进程的一些基本知识。在多核CPU上,可以运行多个进程(数量与CPU核心数相同),充分利用多核CPU。由于系统总的进程数量十分有限,因此操作系统调度非常高效。


相关文章内容简介
推荐阅读
  • 23 2019-04
    局域网和手机无线设置代理IP上网方法

    局域网和手机无线设置代理IP上网方法:不管是电脑还是手机都是可以设置代理IP上网的,今天小编就来分享下,大家可以看看都是怎么设置的,学会之后也能简单的设置代理IP上网了,你想访问

  • 30 2019-04
    爬虫被禁不仅仅是代理IP出问题了

    爬虫被禁不仅仅是代理IP出问题了,还可能是其他的原因,但是牵一发而动全身,其他地方出问题了,也会引起IP被封,从而把爬虫给禁了。如果遇到这种情况,那么势必使要先找到原因的,比

  • 22 2019-04
    代理IP总是不够用,能拿免费的来凑合吗?

    代理IP总是不够用,能拿免费的来凑合吗?首先成本高,其次商家杂乱,优质的并不好找。其实钱到用时方恨少,代理IP也一样。注册账号时,注册三四个就提示不能注册了;登陆账号时,登陆

  • 03 2019-04
    爬虫借用代理IP工具把伪装技能点满了

    在爬虫时,我们不可避免的会遇到网页的反爬封锁,所以就有了爬虫的攻防,在攻和守之间两股力量不断的抗衡。接下来就讲讲我在爬虫时遇到的一些问题,以及解决的方法。

  • 16 2019-05
    HTTP代理适合大众使用吗?

    HTTP代理适合大众使用吗?其实私密代理而且这种http代理ip资源在之前的人们耳中并不时常听到,随着时代的发展,他开始在人们的生活中活跃起来,越来越多的人开始对它有所了解。

  • 16 2019-04
    三点看完爬虫代理质量,提前了解选择有底

    三点看完爬虫代理质量,提前了解选择有底:随着互联网的快速发展、用户需求的不断增长以及爬虫代理的迅速崛起,很多用户都喜欢使用爬虫代理来实现一些目标。由于庞大而开放的爬虫代理

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961