您的位置:首页 > 新闻资讯 >文章内容
爬虫被识别是不是用了透明代理
来源:互联网 作者:admin 时间:2019-06-26 14:46:02

  爬虫被识别是不是用了透明代理?有时候爬虫在采集数据时,使用代理IP,有的代理IP没事,有的代理IP直接重定向,这是不是代理IP质量问题?


  于是很多人都怀疑是商家的代理IP质量问题,认为使用的代理IP并不是高匿名的,而是其中渗透了其他的代理,例如透明,或者普匿名代理。


  其实这并不能说明使用的代理IP不是髙匿,至于为什么会重定向,很有可能是触发了反爬策略。


爬虫被识别是不是用了透明代理


  对于如何判断代理IP是否髙匿,只是看会不会被识别,这是不全面的。很多朋友也有这样的观点,认为用了髙匿代理IP就一定能成功,不然就是透明代理IP,普匿代理IP。其实这样的观点是不正确的,并不是用了髙匿代理IP,就可以忽略反爬虫策略了,那样的话,也就不用反反爬虫了,用上髙匿代理IP,一路爬过去就完事了。


  那么如何判断一个代理IP是否髙匿代理IP呢?


  其实要想识别IP代理的匿名等级并不复杂,只需要通过脚本程序(如ASP PHP JSP等)即可在服务器端识别出来,识别的办法就是抓数据包里的相关字段:REMOTE_ADDR,HTTP_VIA以及HTTP_X_FORWARDED_FOR。


  高匿代理


  REMOTE_ADDR = Proxy IP


  HTTP_VIA = not determined


  HTTP_X_FORWARDED_FOR = not determined


  透明代理会向目标服务器透露自己的真实IP,普匿代理会向目标服务器透露用了代理,髙匿代理什么都不透露给目标服务器。


  由此可见,用透明代理和普匿代理被识别的几率非常大,只要好好做了反爬策略的网站一般都可以轻而易举的识别,使用髙匿代理IP的话,虽然不能轻而易举的被识别,但也不是说就不能被识别了,触发了反爬策略依然会被识别,被限制,比如访问频率,次数,User-Agent,cookies,reprefer等等很多因素,而且反爬策略是会不断的升级的,相应的反反爬策略也要不断的升级。


  这就说明了,“爬虫被识别是不是用了透明代理”这个说法是不成立的,除了保持代理IP的高匿名性,其他方面的措施也是要做好的,否则功亏一篑。


相关文章内容简介
推荐阅读
  • 23 2019-02
    爬虫伪装浏览器和设置代理的方法

    大部分的网站为了避免爬虫的恶意访问,会设置一些反爬虫机制,常见的反爬虫机制主要有:

  • 22 2019-05
    最新的免费ip代理如何获取

    最新的免费ip代理如何获取?越早出现的IP,被使用的几率越大,因此这IP地址的质量是难以保证的,那么怎么找到最新的IP代理呢?

  • 24 2019-12
    免费代理IP安不安全?

    免费代理IP安不安全?用免费代理IP​上网,就像是没有任何抗体的新生儿一样,很容易被病毒感染,专注于提供HTTP系列产品代理服务的高端优质IP代理企业经理代理ip,将为你具体解析使用免费

  • 06 2020-03
    更换IP地址的重要性

    IP地址是一个人上网的根本,我们在上网的时候都是通过IP地址实现的,一台电脑只能够有一个IP地址,这个地址是被固定下来的,平常我们都会使用它来上网。其实长时间使用一个IP地址是非常

  • 19 2019-08
    代理IP也有3种分类,你选对了吗?

    刷量、爬虫的时候经常会用到代理IP,我们通常以为使用了代理IP就相当于隐身,将自己的真实IP隐藏了起来,但是现实情况真的是这样的吗?

  • 03 2019-04
    怎么搭建ip代理池生成ip使用?

    ip代理池是怎么搭建的?爬虫要想一直工作,少不了代理IP。若是任务重,可能一个代理IP商的IP数量满足不了需求,因此搭建IP代理池也就是自然的事情了。那么怎么搭建ip代理池生成ip使用?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部