您的位置:首页 > 新闻资讯 >文章内容
爬虫的IP代理不生效怎么解决?
来源:互联网 作者:admin 时间:2019-03-21 17:15:40

  爬虫的IP代理不生效怎么解决?我们使用IP代理的时候要考虑到IP代理池中的IP不一定都是有效的,如果出现错误,需要从这方面进入处理。比如切换IP个新的IP使用,并继续处理当前这个URL。如果还是解决不了,可以考虑使用以下的方法:


  一、IP代理不生效怎么解决


  在通过requests代理进行网络爬虫,或者是scrapy进行网络爬虫时,不可避免用到IP代理方式一个IP多次访问导致IP地址被封禁,结果无法获取数据的尴尬。但是有时候出现IP代理无法失效的情况:


  解决方法为:


  查看请求的url地址使用的协议时http还是https,我们设置的代理ip的协议也应该时相同的协议,否则代理不会生效的。


  代理方法如下:


爬虫的IP代理不生效怎么解决?


  二、代理失效了如何处理


  class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.


  (通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


  urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.


  (build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.


  (install_opener方法安装OpenerDirector实例作为默认的全局opener。)


  简单整理下:


  1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;


  2、将opener_support载入build_opener方法,创建opener;


  3、安装opener。


  具体代码如下:


  from urllib import requestdef ProxySpider(url, proxy_ip, header):opener_support = request.ProxyHandler({'http': proxy_ip}) opener = request.build_opener(opener_support) request.install_opener(opener) req = request.Request(url, headers=header)rsp = request.urlopen(req).read()return rsp


  如果需要选用好的IP代理,代理精灵的高匿名,海量IP资源,完全符合各类爬虫的需求,可以很好的辅助爬虫进行工作。


相关文章内容简介
推荐阅读
  • 15 2019-06
    seo优化用动态代理IP更有效果

    seo优化用动态代理IP更有效果,为什么呢?seo搜索引擎优化,是网站优化的基本操作,利用seo的优化手段,我们网站的关键词就会逐步的向前递增,从而增加网站的权重,引入流量。但是当我们

  • 10 2019-05
    IP代理池支持数据大规模抓取

    IP代理池支持数据大规模抓取,不然单靠单个IP是容易出问题的,大家都明白,短时间内访问一个网站几十次后肯定会被屏蔽的。每个网站对IP的解封策略也不一样,有的1小时候后又能重新访问

  • 04 2019-06
    企业选择http代理的原因

    企业选择http代理的原因,都有哪些?目前爬虫大和大数据采集、分析等领域,在很多时候都需要用到ip,以此达到切换ip的目的。切换ip有很多方法,不过目前越来越多的企业级用户选择使用http

  • 21 2019-03
    恶意爬虫也会使用代理IP,一直更换IP地址隐藏自己

    对于互联网来说,一般说的机器人其实是指互联网上的爬虫、自动机或者是模拟器。部分机器人流量来自于搜索引擎爬虫、自动更新的RSS订阅服务器等,他们是良性的,属于正常机器流量(GoodBo

  • 18 2019-04
    http代理要设置授权才能使用,是不是很麻烦?

    http代理要设置授权才能使用,是不是很麻烦?许多朋友认为在使用http代理时,绑定IP白名单很麻烦。一些朋友经常告诉我,你看看这家、那家都不用绑定白名单的,拿到IP就能直接使用,多方便

  • 11 2019-04
    爬虫加IP代理能提高爬取速度,但为何还要加延时呢?

    爬虫加IP代理,这是再正常不过的了。一些比较好的网站都会有设反爬的,主要是为了数据安全性和保持自身的核心竞争力,防止别人对核心数据进行采集。

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961