您的位置:首页 > 新闻资讯 >文章内容
爬虫被识别是不是用了透明代理
来源:互联网 作者:admin 时间:2019-06-26 14:46:02

  爬虫被识别是不是用了透明代理?有时候爬虫在采集数据时,使用代理IP,有的代理IP没事,有的代理IP直接重定向,这是不是代理IP质量问题?


  于是很多人都怀疑是商家的代理IP质量问题,认为使用的代理IP并不是高匿名的,而是其中渗透了其他的代理,例如透明,或者普匿名代理。


  其实这并不能说明使用的代理IP不是髙匿,至于为什么会重定向,很有可能是触发了反爬策略。


爬虫被识别是不是用了透明代理


  对于如何判断代理IP是否髙匿,只是看会不会被识别,这是不全面的。很多朋友也有这样的观点,认为用了髙匿代理IP就一定能成功,不然就是透明代理IP,普匿代理IP。其实这样的观点是不正确的,并不是用了髙匿代理IP,就可以忽略反爬虫策略了,那样的话,也就不用反反爬虫了,用上髙匿代理IP,一路爬过去就完事了。


  那么如何判断一个代理IP是否髙匿代理IP呢?


  其实要想识别IP代理的匿名等级并不复杂,只需要通过脚本程序(如ASP PHP JSP等)即可在服务器端识别出来,识别的办法就是抓数据包里的相关字段:REMOTE_ADDR,HTTP_VIA以及HTTP_X_FORWARDED_FOR。


  高匿代理


  REMOTE_ADDR = Proxy IP


  HTTP_VIA = not determined


  HTTP_X_FORWARDED_FOR = not determined


  透明代理会向目标服务器透露自己的真实IP,普匿代理会向目标服务器透露用了代理,髙匿代理什么都不透露给目标服务器。


  由此可见,用透明代理和普匿代理被识别的几率非常大,只要好好做了反爬策略的网站一般都可以轻而易举的识别,使用髙匿代理IP的话,虽然不能轻而易举的被识别,但也不是说就不能被识别了,触发了反爬策略依然会被识别,被限制,比如访问频率,次数,User-Agent,cookies,reprefer等等很多因素,而且反爬策略是会不断的升级的,相应的反反爬策略也要不断的升级。


  这就说明了,“爬虫被识别是不是用了透明代理”这个说法是不成立的,除了保持代理IP的高匿名性,其他方面的措施也是要做好的,否则功亏一篑。


相关文章内容简介
推荐阅读
  • 25 2019-06
    爬虫绕不开IP封禁

    爬虫绕不开IP封禁,为了对付IP封禁,相信很多人都曾经尝试了构建维护自己的IP池,从网上各大网站获取它们提供的免费IP。

  • 01 2019-08
    爬虫代理IP可以获取指定数据

    爬虫代理IP可以获取指定数据!爬虫要想实现快速抓取大量的数据,并且可以获取指定数据,这少不了代理IP的帮忙。爬虫代理IP是最基础以及有必要的,当你想要爬取他人网站时,如果一直使用

  • 30 2020-04
    IP代理软件怎么选择才好

    随着互联网行业的兴起,越来越多的公司和个人选择在网络上开展业务,IP代理也走进了不少人的视野里,各类的网络营销方法都要使用IP代理,这么多的IP代理软件怎么选择才好呢?

  • 27 2019-05
    选用代理IP千万不要以价格为准

    选用代理IP千万不要以价格为准,这是为什么呢?很多朋友在购物时都是以价格为主要因素,就拿代理IP来说,有免费的就不用收费的,有便宜的就不用更贵的。这样虽然降低了成本,但同时也

  • 04 2020-12
    动态ip代理可以给网络加速

    通过使用加速器,我们可以解决网络延迟的问题。一般来说,一提到加速,我们马上想到网络加速器。事实上,动态ip代理也非常适合网络加速。

  • 21 2019-08
    为什么都说独享IP比同享IP好?

    用过代理IP的可能都会有一个疑问,独享IP和同享IP具体有什么不同,如果我只是个人普通使用又或是企业使用,要选择哪一种比较好呢?下面我们来看看这两种IP有什么区别。

在线咨询
大客户经理
大客户经理
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部