您的位置:首页 > 新闻资讯 >文章内容
代理IP爬取梨视频被封如何解决?
来源:互联网 作者:admin 时间:2019-10-11 11:04:34

  在使用代理IP爬取的时候,IP被封了怎么解决?下面机灵代理为大家带来在爬取梨视频数据的案例来给大家梳理思路,主要步骤包括以下内容:


代理IP爬取梨视频被封如何解决


  线程池:尽可能用在耗时较为严重的操作中


  1、视频的请求下载


  2、视频的持久化存储


  3、使用模块


  #模块引入 from multiprocessing.dummy import Pool #创建线程数量 pool = Pool(4) pool.map(func,iterable,chunksize=None) #map方法可以基于异步实现:让参数1对应的函数对参数2对应的容器元素一次进行操作,参数二必须是可迭代的,比如最典型的列表


  模拟请求阻塞操作:


  普通的访问方式


  import time

  def my_request(url):

  print('正在请求:',url)

  #设置了休眠等待

  time.sleep(10)

  print('请求完毕:', url)

  urls = [

  'www.1.com',

  'www.2.com',

  'www.3.com',

  'www.4.com',

  ]

  start = time.time()

  for url in urls:

  my_request(url)

  print(time.time()-start)


  使用线程池:


  #使用线程池 import time from multiprocessing.dummy import Pool pool = Pool(4) def my_request(url): print('正在请求:',url) time.sleep(10) print('请求完毕:', url) urls = [ 'www.1.com', 'www.2.com', 'www.3.com', 'www.4.com', ] start = time.time() pool.map(my_request,urls) print(time.time()-start) pool.close() #join的意思是让主线程等待子线程全部结束后再结束 pool.join()


  代理IP被封了我们也不需要着急,可以马上调用代理IP池来继续完成操作,这样爬虫也不会中断。


相关文章内容简介
推荐阅读
  • 25 2019-06
    封ip用免费的代理ip解决不了

    封ip用免费的代理ip解决不了,这是为什么呢?现在很多站长都会有抓取数据的需求,因此网络爬虫在一定程度上越来越火爆,其实爬虫的基本功能很简单,就是分析大量的url的html页面,从而提

  • 29 2019-04
    构建代理ip池的IP来源途径

    构建代理ip池的IP来源途径有哪些?使用爬虫程序都免不了出现问题的,有时候爬得正高兴呢,出现了一连串错误信息,查看后发现因为爬取太过频繁,被网站封了ip,那时起就有了构建代理ip池

  • 11 2020-05
    代理IP的使用场景

    互联网发展至今,已经衍生了无数的行业,代理ip的需求也是越来越大,服务商也如雨后春笋般的冒出来,各种套餐应运而生,数量多的令人眼花缭乱,不知如何选择。很多用户表达自己的要求

  • 29 2020-12
    鉴别ip代理匿名程度

    有些时候我们购买的ip代理怎么来辨别匿名程度怎么样呢?这里有两个办法,可以帮助到大家来进行ip代理的匿名鉴别,下面我们来看看。

  • 12 2019-06
    网上扫描的代理并不稳定

    网上扫描的代理并不稳定,但是不用给钱,所以很多人都愿意去使用的。不过很多项目都使用不了这网上扫描的代理,下面我们以数据采集为例:

  • 24 2019-08
    动态IP代理在爬虫中怎么实现?

    通常在写爬虫时,网站都会针对有对应的防爬措施,就像是会限制你的单个IP访问次数,但是爬虫反复抓取,IP多次访问无法避免,那么这种问题我们通过代理IP,还能如何解决呢?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部