您的位置:首页 > 新闻资讯 >文章内容
代理IP爬取梨视频被封如何解决?
来源:互联网 作者:admin 时间:2019-10-11 11:04:34

  在使用代理IP爬取的时候,IP被封了怎么解决?下面机灵代理为大家带来在爬取梨视频数据的案例来给大家梳理思路,主要步骤包括以下内容:


代理IP爬取梨视频被封如何解决


  线程池:尽可能用在耗时较为严重的操作中


  1、视频的请求下载


  2、视频的持久化存储


  3、使用模块


  #模块引入 from multiprocessing.dummy import Pool #创建线程数量 pool = Pool(4) pool.map(func,iterable,chunksize=None) #map方法可以基于异步实现:让参数1对应的函数对参数2对应的容器元素一次进行操作,参数二必须是可迭代的,比如最典型的列表


  模拟请求阻塞操作:


  普通的访问方式


  import time

  def my_request(url):

  print('正在请求:',url)

  #设置了休眠等待

  time.sleep(10)

  print('请求完毕:', url)

  urls = [

  'www.1.com',

  'www.2.com',

  'www.3.com',

  'www.4.com',

  ]

  start = time.time()

  for url in urls:

  my_request(url)

  print(time.time()-start)


  使用线程池:


  #使用线程池 import time from multiprocessing.dummy import Pool pool = Pool(4) def my_request(url): print('正在请求:',url) time.sleep(10) print('请求完毕:', url) urls = [ 'www.1.com', 'www.2.com', 'www.3.com', 'www.4.com', ] start = time.time() pool.map(my_request,urls) print(time.time()-start) pool.close() #join的意思是让主线程等待子线程全部结束后再结束 pool.join()


  代理IP被封了我们也不需要着急,可以马上调用代理IP池来继续完成操作,这样爬虫也不会中断。


相关文章内容简介
推荐阅读
  • 01 2019-07
    动态IP和静态IP能一起用么?

    动态IP和静态IP能一起用么?不管是单独使用动态IP还是静态IP,都是有缺点的,想要避免这些缺点,能否一起使用动态IP和静态IP呢?

  • 14 2019-10
    对比优质代理IP与普通代理IP的区别

    使用优质的代理IP跟普通的代理IP之间会有差别吗?在使用中它们会有什么不同的效果?为什么那么多的专业爬虫工作者更愿意花更多的钱去购买优质的代理IP服务呢?

  • 08 2019-10
    开源代理服务器介绍:Tinyproxy篇

    之前机灵代理已经为大家介绍了4款的开源代理服务器,Tinyproxy是这个系列的最后一款,下面让我们一起看看它的功能。这样大家日后要选择代理服务器的时候,就可以通过这个系列的文章,找

  • 25 2019-12
    代理ip软件​有什么好处?

    代理ip软件​有什么好处?现在互联网发展越来越快,越多越多的人需要使用动态IP,像百度问答、论坛发帖、博客互动、SEO优化等等,都需要使用动态IP去隐藏自身的IP地址去操作,今天小编就来

  • 04 2019-10
    2种对代理服务器防御的方式

    针对代理服务器,我们有防御的必要吗?有时我们也会用到代理IP,是用于营销、爬虫等方面,而如果有人是用于黑客攻击这方面,那就不可取了。所以提高网络保护意识还是很有必要,机灵代理

  • 23 2020-03
    新媒体与代理ip相辅相成

    如今是网络时代,立足于网络而兴起的行业,以热度和广泛度来排列名次,第一名莫过于新媒体,这一行业的利润之高,来钱之快,恐怕是令很多人眼红,只是也有很多人并不知道,为行业奠定

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部