您的位置:首页 > 新闻资讯 >文章内容
单线程没效率?多线程效果更佳,常用的几种线程池
来源:互联网 作者:admin 时间:2019-03-09 14:50:40

  其实单线程远不能满足我们的需求,毕竟单线程的能力有限,不管怎么抓取,让其慢慢积累都是需要时间的,而我们需要的就是抢时间,以更短的时间获得信息。但是单线程的效率太慢了,还不如使用多线程。


  多线程虽然能解决单线程解决不了的事情,但是它也会给你带来额外的问题。比如成千上万甚至上百万的线程时候,你系统就会出现响应延迟、卡机、甚至直接卡死的情况。为什么会出现这样的原因呢?


  这是因为为每个请求创建一个新线程的开销很大:在创建和销毁线程上花费的时间和消耗的系统资源要比花在处理实际的用户请求的时间和资源更多。


单线程没效率?多线程效果更佳,常用的几种线程池


  除了创建和销毁线程的开销之外,活动的线程也消耗系统资源。机灵代理工程师表示,在一个JVM里创建太多的线程可能会导致系统由于过度消耗内存而用完内存或“切换过度”。所以为了防止资源不足,服务器应用程序需要一些办法来限制任何给定时刻处理的请求数目。而线程池为线程生命周期开销问题和资源不足问题提供了解决方案。常用的几种线程池:


  1.ScheduledThreadPool


  周期线程池,创建一个定长线程池,支持定时及周期性任务执行,通过过schedule方法可以设置任务的周期执行。


  2.newFixedThreadPool


  定长线程池,一个有指定的线程数的线程池,有核心的线程,里面有固定的线程数量,响应的速度快。正规的并发线程,多用于服务器。固定的线程数由系统资源设置。核心线程是没有超时机制的,队列大小没有限制,除非线程池关闭了核心线程才会被回收。


  3.newSingleThreadExecutor


  单任务线程池,创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行,每次任务到来后都会进入阻塞队列,然后按指定顺序执行。


  4.newCachedThreadPool


  可缓冲线程池,只有非核心线程,最大线程数很大,每新来一个任务,当没有空余线程的时候就会重新创建一个线程,这边有一个超时机制,当空闲的线程超过60s内没有用到的话,就会被回收,它可以一定程序减少频繁创建/销毁线程,减少系统开销,适用于执行时间短并且数量多的任务场景。


  不同的线程池,是有效果的差别的,对于线程池的使用,若是需要抓取大量的数据,单个线程无法满足需求,那么使用多线程是必然的选择,而使用线程池能够起到优化的效果,让爬虫爬取变得更加的简单,配合代理IP使用,效果更佳。


相关文章内容简介
推荐阅读
  • 20 2019-02
    IPV6现在发展到什么阶段了?如何升级到IPV6?

    ​自1981年Jon Postel 在RFC791中定义了IPv4到现在,IPv4在IP领域称王已有30余年,并一度成为IP的代名词,但是IPv4面临枯竭的危机,已经失去了实用价值。

  • 31 2019-05
    代理IP的实际用途

    代理IP的实际用途都有哪些?随着人们的生活水准越来越高,各个领域都开始追求效率,所以互联网产品开发也开始注重这一方面,开发出的产品都在往简单易使用的方向发展。代理IP的目的就是让

  • 22 2019-04
    换IP使用代理IP,不多拉网线能行吗?

    换IP使用代理IP,不多拉网线能行吗?这个问题,大家都想节省点成本的,原理上来讲是可以的,但是也有其他的因素影响,我们一起去看看:

  • 14 2019-05
    IP代理在爬虫抓取中的作用

    IP代理在爬虫抓取中的作用大吗?我们都知道爬虫抓取可能被限制的,比如说我们经常在做数据爬取过程中遇到这样的情况:

  • 19 2019-06
    用代理IP更换IP刷量算数吗?

    用代理IP更换IP刷量算数吗?网络时代,很多东西都要看数据的,而这些数据可以利用一些工具来增加,因此如果文章、视频之类的要想增加浏览量,这是很容易的,但是这些使用工具增加的数

  • 17 2019-06
    用不用代理ip要看抓取数据量

    用不用代理ip要看抓取数据量的,有些新学爬虫的初学者,试了几次,觉得好像不使用代理ip都行,为何还要花钱呢?不用不可以吗?用了代理之后发现爬虫抓取数据的速度反而下降了不少于是

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961