您的位置:首页 > 新闻资讯 >文章内容
单线程没效率?多线程效果更佳,常用的几种线程池
来源:互联网 作者:admin 时间:2019-03-09 14:50:40

  其实单线程远不能满足我们的需求,毕竟单线程的能力有限,不管怎么抓取,让其慢慢积累都是需要时间的,而我们需要的就是抢时间,以更短的时间获得信息。但是单线程的效率太慢了,还不如使用多线程。


  多线程虽然能解决单线程解决不了的事情,但是它也会给你带来额外的问题。比如成千上万甚至上百万的线程时候,你系统就会出现响应延迟、卡机、甚至直接卡死的情况。为什么会出现这样的原因呢?


  这是因为为每个请求创建一个新线程的开销很大:在创建和销毁线程上花费的时间和消耗的系统资源要比花在处理实际的用户请求的时间和资源更多。


单线程没效率?多线程效果更佳,常用的几种线程池


  除了创建和销毁线程的开销之外,活动的线程也消耗系统资源。机灵代理工程师表示,在一个JVM里创建太多的线程可能会导致系统由于过度消耗内存而用完内存或“切换过度”。所以为了防止资源不足,服务器应用程序需要一些办法来限制任何给定时刻处理的请求数目。而线程池为线程生命周期开销问题和资源不足问题提供了解决方案。常用的几种线程池:


  1.ScheduledThreadPool


  周期线程池,创建一个定长线程池,支持定时及周期性任务执行,通过过schedule方法可以设置任务的周期执行。


  2.newFixedThreadPool


  定长线程池,一个有指定的线程数的线程池,有核心的线程,里面有固定的线程数量,响应的速度快。正规的并发线程,多用于服务器。固定的线程数由系统资源设置。核心线程是没有超时机制的,队列大小没有限制,除非线程池关闭了核心线程才会被回收。


  3.newSingleThreadExecutor


  单任务线程池,创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行,每次任务到来后都会进入阻塞队列,然后按指定顺序执行。


  4.newCachedThreadPool


  可缓冲线程池,只有非核心线程,最大线程数很大,每新来一个任务,当没有空余线程的时候就会重新创建一个线程,这边有一个超时机制,当空闲的线程超过60s内没有用到的话,就会被回收,它可以一定程序减少频繁创建/销毁线程,减少系统开销,适用于执行时间短并且数量多的任务场景。


  不同的线程池,是有效果的差别的,对于线程池的使用,若是需要抓取大量的数据,单个线程无法满足需求,那么使用多线程是必然的选择,而使用线程池能够起到优化的效果,让爬虫爬取变得更加的简单,配合代理IP使用,效果更佳。


相关文章内容简介
推荐阅读
  • 20 2019-06
    代理IP可以更换IP地址突破网络限制

    代理IP可以更换IP地址突破网络限制,很多人使用代理IP,主要是这一点,即更换IP地址突破网络限制。如果有了代理IP,我们可以不必担心店铺刷单太多而造成被封的危险,网站发帖太多而导致IP

  • 28 2019-11
    获得客户端真实IP地址的操作

    用户使用代理服务器可以选择高匿名的代理来将自己本地真实IP进行隐藏,这么一来,我们在进行网络访问的时候就会更加安全。但如果不是使用高匿代理,那么客户端的IP地址是能够获取到的

  • 07 2020-04
    怎么查询自己电脑的IP呢

    大家都知道,每台电脑都会有自己的IP地址。例如用户需要知道自己电脑IP,很多用户不知道该在哪里查询的到。那么,怎么查询自己电脑的IP呢?

  • 16 2019-04
    反爬封锁IP后,IP代理可以帮什么忙?

    反爬封锁IP后,IP代理可以帮什么忙?都知道的啦,反爬封锁比较严重的,倘若遇到IP限制之后,一般上我们的网络爬虫是如何应对的呢?

  • 19 2019-01
    为什么说代理IP可以隐藏IP地址?用代理IP是可以查出源ip的

    怎么隐藏自己的IP地址,代理IP有用吗?都说代理IP中的IP是高匿名的,可以很好的隐藏用户的地址信息,对方并不知道我们使用了代理,是非常的安全的。这是真的吗?怎么隐藏自己的IP地址?

  • 05 2020-02
    代理IP带来了很大的便利

    代理IP是通过第三方网络协议传输的加密软件,其实跟IP加速器的原理差不多,是一种特殊的网络服务,允许客户端通过这个服务器和服务器进行非直接的连接。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部