您的位置:首页 > 新闻资讯 >文章内容
HTTP代理是透明代理也是非透明代理
来源:互联网 作者:admin 时间:2019-05-07 10:33:14

  HTTP代理是透明代理也是非透明代理,之所以强调是“透明”代理,也就是说这样的代理对客户端来说是不可见的,并不需要在客户端的浏览器中作关于代理的设置。


  代理是一个中间程序,它既可以担当客户端的角色,也可以担当服务器的角色。代理代表客户端向服务器发送请求。客户端的请求经过代理,会在代理内部得到服务或者经过一定的转换转至其他服务器。一个代理必须能同时实现本规范中对客户端和服务器所做的要求。


HTTP代理是透明代理也是非透明代理


  透明代理(transparentproxy)需要代理认证和代理识别,而不修改请求或响应。


  非透明代理(nontransparentproxy)需修改请求或响应,以便为用户代理(useragent)提供附加服务,附加服务包括组注释服务、媒体类型转换、协议简化或者匿名过滤等。


  除非透明行为或非透明行为被显式地声明,否则,HTTP代理是透明代理也是非透明代理。


  假设有这样的典型NAT网络环境:


  网关: 192.168.0.1


  客户端:192.168.0.2


  子网掩码:255.255.255.0


  Internet上某个主机的地址为123.123.123.123


  客户端需要用HTTP协议访问123.123.123.123,其首先要连接123.123.123.123的80号端口,而这个连接的TCP包会发送的网关192.168.0.1,网关会对数据包做NAT转换,将其源地址修改为对外的公网IP,并将数据包发送回去,这是正常的情况。但是如果使用的是透明代理,也就是说在网关上做了关于透明代理的配置,则网关会检查每一个对80号端口发起连接的TCP数据包,如上面的数据包会被匹配上,这个连接并不会被转发的实际的123.123.123.123,而是网关会将其转发到指定的HTTP代理服务器,这个代理服务器实际去从123.123.123.123取得需要的数据,然后将数据返回给客户端,这样对于客户端来说,它并不知道自己连接的不是实际的服务器,而是HTTP代理服务器。在代理服务器上使用缓存,则可以提高内网的访问速度。


相关文章内容简介
推荐阅读
  • 09 2019-03
    单线程没效率?多线程效果更佳,常用的几种线程池

    其实单线程远不能满足我们的需求,毕竟单线程的能力有限,不管怎么抓取,让其慢慢积累都是需要时间的,而我们需要的就是抢时间,以更短的时间获得信息。但是单线程的效率太慢了,还不

  • 23 2019-03
    哪里可以找到大量的优质代理IP?

    一个优质代理IP有多重要?或许有人说我就想用免费的,也不是照样能抓取到信息么?那么你敢大规模抓取吗?你敢使用分布式爬虫吗?你敢使用多线程吗?

  • 16 2019-02
    爬虫使用代理IP后,还遇到IP问题怎么处理

    对爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能会遇到同一个IP访问过于频繁的问题,网站就会让我们输入验证码或登录或直接封锁IP,这样会给爬取带来极大的不便。

  • 09 2019-05
    爬虫架构的模块和常用几个架构图

    爬虫架构的模块和常用几个架构图介绍!进行数据采集,是少不了爬虫的,采集不同的数据,其架构图也是不一致的,那么常用的爬虫架构图有哪些呢?我们一起去了解下。

  • 28 2019-05
    HTTP代理的两种版本选择

    HTTP代理的两种版本选择,即免费版和付费版两种,大家喜欢哪种呢?从成本上来说,大家自然是更加喜欢免费的,不过这也有缺点。HTTP代理的付费版也有与优缺点的,我们一起来瞧一瞧:

  • 05 2019-05
    爬取IP代理的经验

    很多人在爬取IP代理的过程中经常会遇到一些问题,比如IP限制,我们也都知道对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何获取这些可用的IP代理呢,今天小编给大家分享

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961