您的位置:首页 > 新闻资讯 >文章内容
单线程没效率?多线程效果更佳,常用的几种线程池
来源:互联网 作者:admin 时间:2019-03-09 14:50:40

  其实单线程远不能满足我们的需求,毕竟单线程的能力有限,不管怎么抓取,让其慢慢积累都是需要时间的,而我们需要的就是抢时间,以更短的时间获得信息。但是单线程的效率太慢了,还不如使用多线程。


  多线程虽然能解决单线程解决不了的事情,但是它也会给你带来额外的问题。比如成千上万甚至上百万的线程时候,你系统就会出现响应延迟、卡机、甚至直接卡死的情况。为什么会出现这样的原因呢?


  这是因为为每个请求创建一个新线程的开销很大:在创建和销毁线程上花费的时间和消耗的系统资源要比花在处理实际的用户请求的时间和资源更多。


单线程没效率?多线程效果更佳,常用的几种线程池


  除了创建和销毁线程的开销之外,活动的线程也消耗系统资源。机灵代理工程师表示,在一个JVM里创建太多的线程可能会导致系统由于过度消耗内存而用完内存或“切换过度”。所以为了防止资源不足,服务器应用程序需要一些办法来限制任何给定时刻处理的请求数目。而线程池为线程生命周期开销问题和资源不足问题提供了解决方案。常用的几种线程池:


  1.ScheduledThreadPool


  周期线程池,创建一个定长线程池,支持定时及周期性任务执行,通过过schedule方法可以设置任务的周期执行。


  2.newFixedThreadPool


  定长线程池,一个有指定的线程数的线程池,有核心的线程,里面有固定的线程数量,响应的速度快。正规的并发线程,多用于服务器。固定的线程数由系统资源设置。核心线程是没有超时机制的,队列大小没有限制,除非线程池关闭了核心线程才会被回收。


  3.newSingleThreadExecutor


  单任务线程池,创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行,每次任务到来后都会进入阻塞队列,然后按指定顺序执行。


  4.newCachedThreadPool


  可缓冲线程池,只有非核心线程,最大线程数很大,每新来一个任务,当没有空余线程的时候就会重新创建一个线程,这边有一个超时机制,当空闲的线程超过60s内没有用到的话,就会被回收,它可以一定程序减少频繁创建/销毁线程,减少系统开销,适用于执行时间短并且数量多的任务场景。


  不同的线程池,是有效果的差别的,对于线程池的使用,若是需要抓取大量的数据,单个线程无法满足需求,那么使用多线程是必然的选择,而使用线程池能够起到优化的效果,让爬虫爬取变得更加的简单,配合代理IP使用,效果更佳。


相关文章内容简介
推荐阅读
  • 07 2020-01
    高匿代理是什么意思?

    高匿代理是什么意思?现在在网上经常看到代理IP​这个词汇,对于很多网络营销人员来说代理IP是在熟悉不过的了,但是代理IP当中又分为很多类,其中最受人推崇的高匿代理ip是什么意思呢?

  • 08 2019-11
    3方面区分线程IP、动态IP

    线程IP跟动态IP有什么不同?代理IP选择什么类型的IP合适?我们下面就来了解线程IP池跟普通动态转发的不同之处。

  • 21 2019-03
    用高匿代理IP玩游戏还会被封号吗?

    用高匿代理IP玩游戏还会被封号吗?玩游戏,封号是经常发生,有时候自己啥都没有使用,也被封了,这是咋回事呢?

  • 14 2019-05
    租用代理IP使用注意事项

    租用代理IP使用注意事项,大家在租用代理IP之前建议是要先了解下的。什么都不知道就跑去租用了,什么信息都无法对比,难找到好用的代理IP。那么我们租用代理IP使用,需要了解什么呢?

  • 25 2019-09
    使用代理IP制作刷票系统(中)

    使用代理IP制作刷票系统(上)文章里面已经将系统的框架介绍完毕了,剩下的就是重头戏,代码部分了。由于代码部分的篇幅占据比较长,为了优化大家的阅读,机灵代理会划分为两个部分,这

  • 10 2019-02
    java多线程的几种实现方式

    爬虫在遇到大数据的时候,但线程抓取数据太慢了,需要使用多线程。这多线程如何实现的呢?今天小编介绍下关于java多线程的几种实现方式:

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部