您的位置:首页 > 新闻资讯 >文章内容
单线程没效率?多线程效果更佳,常用的几种线程池
来源:互联网 作者:admin 时间:2019-03-09 14:50:40

  其实单线程远不能满足我们的需求,毕竟单线程的能力有限,不管怎么抓取,让其慢慢积累都是需要时间的,而我们需要的就是抢时间,以更短的时间获得信息。但是单线程的效率太慢了,还不如使用多线程。


  多线程虽然能解决单线程解决不了的事情,但是它也会给你带来额外的问题。比如成千上万甚至上百万的线程时候,你系统就会出现响应延迟、卡机、甚至直接卡死的情况。为什么会出现这样的原因呢?


  这是因为为每个请求创建一个新线程的开销很大:在创建和销毁线程上花费的时间和消耗的系统资源要比花在处理实际的用户请求的时间和资源更多。


单线程没效率?多线程效果更佳,常用的几种线程池


  除了创建和销毁线程的开销之外,活动的线程也消耗系统资源。机灵代理工程师表示,在一个JVM里创建太多的线程可能会导致系统由于过度消耗内存而用完内存或“切换过度”。所以为了防止资源不足,服务器应用程序需要一些办法来限制任何给定时刻处理的请求数目。而线程池为线程生命周期开销问题和资源不足问题提供了解决方案。常用的几种线程池:


  1.ScheduledThreadPool


  周期线程池,创建一个定长线程池,支持定时及周期性任务执行,通过过schedule方法可以设置任务的周期执行。


  2.newFixedThreadPool


  定长线程池,一个有指定的线程数的线程池,有核心的线程,里面有固定的线程数量,响应的速度快。正规的并发线程,多用于服务器。固定的线程数由系统资源设置。核心线程是没有超时机制的,队列大小没有限制,除非线程池关闭了核心线程才会被回收。


  3.newSingleThreadExecutor


  单任务线程池,创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行,每次任务到来后都会进入阻塞队列,然后按指定顺序执行。


  4.newCachedThreadPool


  可缓冲线程池,只有非核心线程,最大线程数很大,每新来一个任务,当没有空余线程的时候就会重新创建一个线程,这边有一个超时机制,当空闲的线程超过60s内没有用到的话,就会被回收,它可以一定程序减少频繁创建/销毁线程,减少系统开销,适用于执行时间短并且数量多的任务场景。


  不同的线程池,是有效果的差别的,对于线程池的使用,若是需要抓取大量的数据,单个线程无法满足需求,那么使用多线程是必然的选择,而使用线程池能够起到优化的效果,让爬虫爬取变得更加的简单,配合代理IP使用,效果更佳。


相关文章内容简介
推荐阅读
  • 02 2019-09
    免费IP代理与收费IP代理的区别

    有些用户想着自己只是偶尔用一下代理IP,并不是经常需要用到来处理什么大项目,就去选择用一些网上搜到的免费代理。但是这么做看似是省了钱,实质上风险却很大,不然为什么越来越多人

  • 20 2019-03
    HTTP代理访问变慢的原因以及对策

    上文讲到HTTP代理动态转发,使用的优势比较多,但是也有缺点的,这些缺点的影响大不大?相信大家都非常关系这个问题的,下面我们去看看HTTP代理访问变慢的原因以及对策。

  • 25 2019-02
    关于爬虫遇到的各种限制问题

    爬虫被禁IP这是个非常常见的问题,应对的方法也唯有换IP了,不然怎么也避免开这IP被封的情况。除了IP被封外,爬虫还是会遇到其他的问题,若是不能成功的伪装过去,那么被发现是迟早的事

  • 16 2019-07
    自建ADSL拨号代理服务器划算吗?

    自建ADSL拨号代理服务器划算吗?许多人真的是忍受够了免费代理,老是出问题,那么自建ADSL拨号代理服务器怎样呢?成本高吗?是否划算?

  • 12 2019-07
    工作生活中为何要使用ip代理?

    工作生活中为何要使用ip代理?有没有听说过ip代理,一般玩游戏或者做营销,或者大数据的,都可能有接触的。我们来看看工作生活中为何要使用ip代理吧。

  • 22 2019-10
    线程IP池如何理解?

    线程IP池是什么?使用代理IP的时候,我们需要了解一些相关的概念,那么,线程IP如何去理解呢?下面我们分3个步骤来进行解读。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部