您的位置:首页 > 新闻资讯 >文章内容
爬虫的IP代理不生效怎么解决?
来源:互联网 作者:admin 时间:2019-03-21 17:15:40

  爬虫的IP代理不生效怎么解决?我们使用IP代理的时候要考虑到IP代理池中的IP不一定都是有效的,如果出现错误,需要从这方面进入处理。比如切换IP个新的IP使用,并继续处理当前这个URL。如果还是解决不了,可以考虑使用以下的方法:


  一、IP代理不生效怎么解决


  在通过requests代理进行网络爬虫,或者是scrapy进行网络爬虫时,不可避免用到IP代理方式一个IP多次访问导致IP地址被封禁,结果无法获取数据的尴尬。但是有时候出现IP代理无法失效的情况:


  解决方法为:


  查看请求的url地址使用的协议时http还是https,我们设置的代理ip的协议也应该时相同的协议,否则代理不会生效的。


  代理方法如下:


爬虫的IP代理不生效怎么解决?


  二、代理失效了如何处理


  class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.


  (通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


  urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.


  (build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.


  (install_opener方法安装OpenerDirector实例作为默认的全局opener。)


  简单整理下:


  1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;


  2、将opener_support载入build_opener方法,创建opener;


  3、安装opener。


  具体代码如下:


  from urllib import requestdef ProxySpider(url, proxy_ip, header):opener_support = request.ProxyHandler({'http': proxy_ip}) opener = request.build_opener(opener_support) request.install_opener(opener) req = request.Request(url, headers=header)rsp = request.urlopen(req).read()return rsp


  如果需要选用好的IP代理,代理精灵的高匿名,海量IP资源,完全符合各类爬虫的需求,可以很好的辅助爬虫进行工作。


相关文章内容简介
推荐阅读
  • 15 2019-10
    用代理IP 摆脱IP被封烦恼

    你是不是经历过IP被封的情况?在爬虫、网络营销的场景中,出现的最多,但是有了代理IP,大家就可以不用担心了。

  • 05 2019-07
    IP被封后三种换IP的方法

    被封IP,这是很常见的事情了,关键是被封后如何解决问题呢?下面小编给大家介绍IP被封后三种换IP的方法。

  • 18 2020-02
    如何理解http代理的含义

    代理IP是什么?上网的时候,我们为什么会需要用到代理IP?是每一个用户都会有换IP的需求吗?当然并不是每一个人都一定要用代理IP才能够上网,今天我们来认识http代理的意义。

  • 18 2019-06
    用静态IP和动态IP代理的网速哪个快

    用静态IP和动态IP代理的网速哪个快?我们现在使用的IP大多数都是动态的,是不是使用静态IP比动态IP网速会更加快呢?不然为什么别人的网速这么快的呢?

  • 19 2019-09
    代理IP介绍5种大数据分析方法

    大数据信息采取以及分析,现在广泛应用在不同的领域与行业,已经跟我们的生活、工作变得息息相关。使用代理IP采集完数据后,下一步就是要进行分析了。那么,如何决定信息是否有用,信

  • 19 2019-10
    代理IP能够在爬虫中起到的效果

    代理IP的作用普通用户大概还是比较少接触,如果平时不需要隐藏IP、突破IP访问限制等请求,那么代理IP对大家好像作用不大。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部