您的位置:首页 > 新闻资讯 >文章内容
爬虫的IP代理不生效怎么解决?
来源:互联网 作者:admin 时间:2019-03-21 17:15:40

  爬虫的IP代理不生效怎么解决?我们使用IP代理的时候要考虑到IP代理池中的IP不一定都是有效的,如果出现错误,需要从这方面进入处理。比如切换IP个新的IP使用,并继续处理当前这个URL。如果还是解决不了,可以考虑使用以下的方法:


  一、IP代理不生效怎么解决


  在通过requests代理进行网络爬虫,或者是scrapy进行网络爬虫时,不可避免用到IP代理方式一个IP多次访问导致IP地址被封禁,结果无法获取数据的尴尬。但是有时候出现IP代理无法失效的情况:


  解决方法为:


  查看请求的url地址使用的协议时http还是https,我们设置的代理ip的协议也应该时相同的协议,否则代理不会生效的。


  代理方法如下:


爬虫的IP代理不生效怎么解决?


  二、代理失效了如何处理


  class urllib.request.ProxyHandler(proxies=None)Cause requests to go through a proxy. If proxies is given, it must be a dictionary mapping protocol names to URLs of proxies.


  (通过代理方法请求,如果给定一个代理,它必须是一个字典映射,key为协议,value为URLs或者代理ip。)


  urllib.request.build_opener([handler, ...])Return an OpenerDirector instance, which chains the handlers in the order given.


  (build_opener方法返回一个链接着给定顺序的handler的OpenerDirector实例。)urllib.request.install_opener(opener)Install an OpenerDirector instance as the default global opener.


  (install_opener方法安装OpenerDirector实例作为默认的全局opener。)


  简单整理下:


  1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量;


  2、将opener_support载入build_opener方法,创建opener;


  3、安装opener。


  具体代码如下:


  from urllib import requestdef ProxySpider(url, proxy_ip, header):opener_support = request.ProxyHandler({'http': proxy_ip}) opener = request.build_opener(opener_support) request.install_opener(opener) req = request.Request(url, headers=header)rsp = request.urlopen(req).read()return rsp


  如果需要选用好的IP代理,代理精灵的高匿名,海量IP资源,完全符合各类爬虫的需求,可以很好的辅助爬虫进行工作。


相关文章内容简介
推荐阅读
  • 17 2019-04
    遇到Access Denied,爬虫的代理IP要提高质量

    防封,这是大部分爬虫都需要考虑的问题,尤其是爬着遇到Access Denied,是不是代理IP不管用了?还是说爬虫的代理IP要提高质量?

  • 21 2019-05
    爬虫用代理IP好还是设置访问时间间隔好?

    爬虫用代理IP好还是设置访问时间间隔好?因为每个来访的IP,服务器都是会记录的,如果需要大量的在同一个网站上获取信息,同一个IP一直快速访问,这绝对会被限制的,那么爬虫用代理IP好

  • 21 2019-06
    服务器根据HTTP头信息分析用户有没有使用代理

    服务器根据HTTP头信息分析用户有没有使用代理,HTTP代理按匿名度可分为透明代理、普匿代理和高匿代理。如何知道我们使用的是哪种代理呢?我们可以根据代理访问对方服务器所带的HTTP头信息

  • 25 2020-09
    安全上网就用IP代理软件

    在手机电脑全面普及的今天,网络在给我们便利的同时,也给我们带来了潜在威胁,这种不安全因素主要集中的网络的开放性,当我们访问一个网站时,对方会通过IP地址识别记录我们,而这有

  • 11 2019-06
    HTTP协议应用场景之一:网络爬虫用HTTP代理获利

    如果我们能熟悉,并掌握HTTP协议的一些应用场景,那么我们可以更好的利用HTTP代理来达成目的。下面介绍下HTTP常见的9个场景,在协议格式中提到的各方法、响应码、头部、包体编码方式都与

  • 11 2019-11
    HTTP协议特性

    HTTP代理IP支持多少种协议?HTTP代理IP一般都支持两种协议HTTP和HTTPS协议。那么,HTTP协议是什么?它有什么特性呢?代理IP下面就为大家进行介绍。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部