您的位置:首页 > 新闻资讯 >文章内容
HTTP代理的普通代理和隧道代理
来源:互联网 作者:admin 时间:2019-04-12 15:35:58

  HTTP代理的普通代理和隧道代理的区别:估计很多人都不认识HTTP代理,什么是HTTP代理?HTTP代理存在2种形式,即普通代理和隧道代理,这两个都有什么不同呢?下面为大家简单的介绍一下:


  第一种为普通代理。这种http代理扮演得是一个中介得角色,对于链接到他的客户端来说,他就是服务器,而对于服务端来说他就是客户端。他的任务就是负责两个端口之间传送http报文。


HTTP代理的普通代理和隧道代理


  第一种web代理原理是:


  HTTP客户端向代理发送请求报文,代理服务器需要正确地处理请求和连接(例如正确处理Connection:keep-alive),同时向服务器发送请求,并将收到的响应转发给客户端。


  下面这张图片来自于《HTTP权威指南》,直观地展示了上述行为:


  假设客户通过代理网站访问A网站,对于A来讲他会把代理当作客户端,真正的网民使用的真实地址,他是察觉不到的,完全实现隐藏,而客户端IP的目的。也可以修改http头部,通过X-Forwarded-IP这样的自定义头部告知服务端真正的客户端IP。但服务器无法验证这个自定义头部真的是由代理添加,还是客户端修改了请求头,所以从HTTP头部字段获取IP时,需要格外小心。


  给浏览器显式的指定代理,需要手动修改浏览器或操作系统相关设置,或者指定PAC(ProxyAuto-Configuration,自动配置代理)文件自动设置,还有些浏览器支持WPAD(WebProxyAutodiscoveryProtocol,Web代理自动发现协议)。显式指定浏览器代理这种方式一般称之为正向代理,浏览器启用正向代理后,会对HTTP请求报文做一些修改,来规避老旧代理服务器的一些问题。还有一种情况是访问A网站时,实际上访问的是代理,代理收到请求报文后,再向真正提供服务的服务器发起请求,并将响应转发给浏览器。这种情况一般被称之为反向代理,它可以用来隐藏服务器IP及端口。一般使用反向代理后,需要通过修改DNS让域名解析到代理服务器IP,这时浏览器无法察觉到真正服务器的存在,当然也就不需要修改配置了。反向代理是Web系统最为常见的一种部署方式,例如本博客就是使用Nginx的proxy_pass功能将浏览器请求转发到背后的Node.js服务。


  第二种为隧道代理。他通过http协议得正文部分(Body)完成通讯,以http的方式实现任意基于TCP的应用层协议代理。这种代理使用http的connect方法建立链接。


  第二种Web代理的原理也很简单:


  HTTP客户端通过CONNECT方法请求隧道代理创建一条到达任意目的服务器和端口的TCP连接,并对客户端和服务器之间的后继数据进行盲转发。


  下面这张图片同样来自于《HTTP权威指南》,直观地展示了上述行为:


  假如我通过代理访问A网站,浏览器首先通过CONNECT请求,让代理创建一条到A网站的TCP连接;一旦TCP连接建好,代理无脑转发后续流量即可。所以这种代理,理论上适用于任意基于TCP的应用层协议,HTTPS网站使用的TLS协议当然也可以。这也是这种代理为什么被称为隧道的原因。


  以上介绍了HTTP代理的普通代理和隧道代理,仅供参考的。认识了HTTP代理之后,想要爬取数据,会变得更加的简单了。


相关文章内容简介
推荐阅读
  • 28 2019-08
    如何检验代理IP有效性?

    代理,也称网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。对于一些资深互联网玩家来说使用代理IP并不

  • 30 2019-10
    代理服务出错要先找对原因

    使用代理IP的时候,有的客户会向客服反映各种各样的问题,很多人一出现问题就开始怀疑是代理IP质量不行。但其实我们要先分析清楚,错误的情况,然后才能够判断是什么问题引起。

  • 18 2019-11
    代理IP无用?是被代理服务商骗了吗?

    用户在购买代理IP服务之后发现无法使用,有的时候会非常着急,怀疑是不是这个代理服务商欺骗了自己,卖的的假IP。代理IP无法使用,具体问题要具体分析。

  • 22 2019-08
    企业通过代理IP爬虫主要会获取哪些信息?

    进入数字营销时代,大数据对企业业务发展,对行业前景进行分析,对用户行为进行分析能够提供有效的支撑。所以企业运用代理IP去爬虫获取数据,然后再进行数据分析,已经变得普遍了。有

  • 20 2019-03
    动态ip代理解决不了抓取问题,哪里出问题了?

    网络爬虫配上动态IP代理,基本上都能顺利的抓取到信息,因为使用了动态IP代理就可以解决频率限制的问题,可以一直进行数据的抓取工作。但有时候,即使使用了动态IP代理,还是出问题了,

  • 18 2020-01
    QQ如何设置代理IP

    代理IP不仅可以运用在注册,投票,抢购,数据采集上,还可以应用到QQ登陆上,那就是使用HTTP代理​IP来登陆QQ,那么下面就简单为大家说一下,登陆QQ需要如何设置代理IP。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部