您的位置:首页 > 新闻资讯 >文章内容
爬虫的IP代理不生效怎么解决?
来源:互联网 作者:admin 时间:2019-03-21 17:15:40

  爬虫的IP代理不生效怎么解决?我们使用IP代理的时候要考虑到IP代理池中的IP不一定都是有效的,如果出现错误,需要从这方面进入处理。比如切换IP个新的IP使用,并继续处理当前这个URL。如果还是解决不了,可以考虑使用以下的方法:


  一、IP代理不生效怎么解决


  在通过requests代理进行网络爬虫,或者是scrapy进行网络爬虫时,不可避免用到IP代理方式一个IP多次访问导致IP地址被封禁,结果无法获取数据的尴尬。但是有时候出现IP代理无法失效的情况:


  解决方法为:


  查看请求的url地址使用的协议时http还是https,我们设置的代理ip的协议也应该时相同的协议,否则代理不会生效的。


  代理方法如下:


爬虫的IP代理不生效怎么解决?


  二、代理失效了如何处理


  class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.


  (通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


  urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.


  (build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.


  (install_opener方法安装OpenerDirector实例作为默认的全局opener。)


  简单整理下:


  1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;


  2、将opener_support载入build_opener方法,创建opener;


  3、安装opener。


  具体代码如下:


  from urllib import requestdef ProxySpider(url, proxy_ip, header):opener_support = request.ProxyHandler({'http': proxy_ip}) opener = request.build_opener(opener_support) request.install_opener(opener) req = request.Request(url, headers=header)rsp = request.urlopen(req).read()return rsp


  如果需要选用好的IP代理,代理精灵的高匿名,海量IP资源,完全符合各类爬虫的需求,可以很好的辅助爬虫进行工作。


相关文章内容简介
推荐阅读
  • 06 2019-06
    租用国内代理ip要考虑几点

    租用国内代理ip要考虑几点,我们知道互联网营销的业务中,经常会用到代理IP,最常见的有投票、抢购、注册等,其实发帖也是可以应用到的,例如在某论坛发帖,经常操作可能会被网站系统

  • 15 2019-06
    优质http代理并没有想象中好

    优质http代理并没有想象中好,这是什么原因导致的呢?目前大数据的应用,让数据采集成为了一个热门的行业,大数据样本的获得需要通过数据爬虫来时限,爬虫工作者一般都会解用爬虫http代

  • 23 2019-09
    代理IP教你怎么写出整洁的代码(下)

    代理IP教你怎么写出整洁的代码(上)这篇文章大家看完之后,有没有对整洁代码有了一个基本的轮廓呢?下面,机灵代理马不停蹄为大家带来下半部分的介绍。

  • 29 2019-09
    代理IP详解子网掩码的实现

    子网掩码是一种用来指明一个IP地址的哪些位标识的是主机所在的子网,以及哪些位标识的是主机的位掩码。子网掩码不能单独存在,它必须结合IP地址一起使用。子网掩码只有一个作用,就是

  • 10 2019-07
    http代理能有效切换IP

    http代理能有效切换IP,如果需要切换ip,可以考虑使用http代理的,http代理的使用场景有:

  • 15 2019-04
    http代理的含义和作用科普

    http代理的含义和作用科普,爬虫是需要使用到http代理的,一些商家刷单也会使用到http代理,或者是刷广告,或者是刷票,刷流量等等,这些都是要使用http代理的,可见作用非常多。

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961