您的位置:首页 > 新闻资讯 >文章内容
爬虫的IP代理不生效怎么解决?
来源:互联网 作者:admin 时间:2019-03-21 17:15:40

  爬虫的IP代理不生效怎么解决?我们使用IP代理的时候要考虑到IP代理池中的IP不一定都是有效的,如果出现错误,需要从这方面进入处理。比如切换IP个新的IP使用,并继续处理当前这个URL。如果还是解决不了,可以考虑使用以下的方法:


  一、IP代理不生效怎么解决


  在通过requests代理进行网络爬虫,或者是scrapy进行网络爬虫时,不可避免用到IP代理方式一个IP多次访问导致IP地址被封禁,结果无法获取数据的尴尬。但是有时候出现IP代理无法失效的情况:


  解决方法为:


  查看请求的url地址使用的协议时http还是https,我们设置的代理ip的协议也应该时相同的协议,否则代理不会生效的。


  代理方法如下:


爬虫的IP代理不生效怎么解决?


  二、代理失效了如何处理


  class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.


  (通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


  urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.


  (build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.


  (install_opener方法安装OpenerDirector实例作为默认的全局opener。)


  简单整理下:


  1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;


  2、将opener_support载入build_opener方法,创建opener;


  3、安装opener。


  具体代码如下:


  from urllib import requestdef ProxySpider(url, proxy_ip, header):opener_support = request.ProxyHandler({'http': proxy_ip}) opener = request.build_opener(opener_support) request.install_opener(opener) req = request.Request(url, headers=header)rsp = request.urlopen(req).read()return rsp


  如果需要选用好的IP代理,代理精灵的高匿名,海量IP资源,完全符合各类爬虫的需求,可以很好的辅助爬虫进行工作。


相关文章内容简介
推荐阅读
  • 01 2020-04
    电脑换ip的好处

    每台电脑都有一个IP,这个IP在电脑的使用过程中相当于网络身份证。随着用网络的人多,IP限制也很多。那么,为什么要换ip呢?

  • 04 2019-10
    网站被封还能访问吗?代理IP告诉你

    爬虫采集经常会面对IP被封、无法爬取等情况,我们除了要有好的程序、爬虫策略之外,还得要有高质量的代理IP。而且有的时候,部分需要爬取的网站竟然也被封了,那么如果还是需要对这个

  • 08 2019-11
    线程IP池的使用

    线程IP池要怎么在手机上使用?机灵代理今天来给大家介绍一下这种便捷的使用方式,可以广泛用在手机群控系统上,可以节省很多时间。

  • 10 2020-08
    网络爬虫的几个基本原理

    计算机网络本质上是一种传播工具,方便人们更好的相互交流。计算机网络将原本世界上各个孤立的网络连接起来,由很多子网络进而形成一个非常大的网络,即万维网。这个时候人们通过网络

  • 15 2019-03
    企业使用哪个IP代理比较好?

    普通人是比较少会使用到IP代理的,通常都是一些企业使用,那么企业使用哪个IP代理比较好?企业使用IP代理,主要是因为在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的网站.

  • 07 2019-09
    用代理IP刷阅读量

    如果我们想要通过一些技术手段来短时间快速增加文章的阅读量,我们可以通过什么方式去解决呢?每一个IP地址就可以增加一个阅读,如果手头上有大量的IP,那不就可以提高文章的阅读量了吗?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部