您的位置:首页 > 新闻资讯 >文章内容
单线程没效率?多线程效果更佳,常用的几种线程池
来源:互联网 作者:admin 时间:2019-03-09 14:50:40

  其实单线程远不能满足我们的需求,毕竟单线程的能力有限,不管怎么抓取,让其慢慢积累都是需要时间的,而我们需要的就是抢时间,以更短的时间获得信息。但是单线程的效率太慢了,还不如使用多线程。


  多线程虽然能解决单线程解决不了的事情,但是它也会给你带来额外的问题。比如成千上万甚至上百万的线程时候,你系统就会出现响应延迟、卡机、甚至直接卡死的情况。为什么会出现这样的原因呢?


  这是因为为每个请求创建一个新线程的开销很大:在创建和销毁线程上花费的时间和消耗的系统资源要比花在处理实际的用户请求的时间和资源更多。


单线程没效率?多线程效果更佳,常用的几种线程池


  除了创建和销毁线程的开销之外,活动的线程也消耗系统资源。机灵代理工程师表示,在一个JVM里创建太多的线程可能会导致系统由于过度消耗内存而用完内存或“切换过度”。所以为了防止资源不足,服务器应用程序需要一些办法来限制任何给定时刻处理的请求数目。而线程池为线程生命周期开销问题和资源不足问题提供了解决方案。常用的几种线程池:


  1.ScheduledThreadPool


  周期线程池,创建一个定长线程池,支持定时及周期性任务执行,通过过schedule方法可以设置任务的周期执行。


  2.newFixedThreadPool


  定长线程池,一个有指定的线程数的线程池,有核心的线程,里面有固定的线程数量,响应的速度快。正规的并发线程,多用于服务器。固定的线程数由系统资源设置。核心线程是没有超时机制的,队列大小没有限制,除非线程池关闭了核心线程才会被回收。


  3.newSingleThreadExecutor


  单任务线程池,创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行,每次任务到来后都会进入阻塞队列,然后按指定顺序执行。


  4.newCachedThreadPool


  可缓冲线程池,只有非核心线程,最大线程数很大,每新来一个任务,当没有空余线程的时候就会重新创建一个线程,这边有一个超时机制,当空闲的线程超过60s内没有用到的话,就会被回收,它可以一定程序减少频繁创建/销毁线程,减少系统开销,适用于执行时间短并且数量多的任务场景。


  不同的线程池,是有效果的差别的,对于线程池的使用,若是需要抓取大量的数据,单个线程无法满足需求,那么使用多线程是必然的选择,而使用线程池能够起到优化的效果,让爬虫爬取变得更加的简单,配合代理IP使用,效果更佳。


相关文章内容简介
推荐阅读
  • 27 2019-07
    理性认识使用爬虫代理

    爬虫代理虽然是可以突破网络的IP限制,但是这不代表使用了爬虫代理,就能无所不能了,我们需要理性认识使用爬虫代理。

  • 13 2019-02
    几种获取Ajax加载信息的方法

    网站为了应对各种爬虫采用了许多的反爬虫策略,即使不能完全杜绝爬虫进行爬取,也能大大降低爬虫的采集速度,比如说网站采用Ajax加载数据,但这些信息爬虫又不能不进行采集,那么爬虫

  • 04 2019-06
    国内免费代理与http代理对比

    国内免费代理与http代理对比,用户使用哪个会比较好呢?机灵代理的http代理可以在代理服务器上实现IP地址切换,而且适用于各类需要不断切换IP的业务,目前在爬虫、大数据、刷单、投票、网

  • 23 2019-05
    http代理租用哪家好?

    http代理租用哪家好?现在网络时代,很多时候我们都需要使用到http代理的,如果选择租用,选择哪家的http代理比较好呢?使用http代理的时候,需要选择合适的服务商。但是网络上的服务商非

  • 16 2019-05
    普通人怎么使用http代理?

    普通人怎么使用http代理?在平时的生活和工作中,我们经常会遇到更换IP的问题。每每这个时候就是最令人头疼的时候了。这就是传说中的“书到用时方很少”。其实作为我们普通人,也无需把

  • 11 2019-01
    哪些语言可以写网络爬虫?Scrapy框架值得作为第一选择

    在这个大数据时代,许多企业都使用网络爬虫来采集信息,这网络爬虫可以使用语言来编写呢?哪一个语言编写网络爬虫的效果最好?现在的编程语言可不少,比如Python、PHP、c#和Java等的,最常

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部