您的位置:首页 > 新闻资讯 >文章内容
明明用了代理ip,还是被封住了,这是为何?
来源:互联网 作者:admin 时间:2019-03-20 18:00:19

  明明用了代理ip,还是被封住了,这是为何?在做爬虫的时候会遇到一个问题,明明我已经使用爬虫代理ip了,却发现爬虫程序终止了,一查,真实ip被封了?是IP质量的问题吗?


  当然不排除这个可能,比如使用透明代理,目标服务器明确知道你使用了代理,也能知道你的真实IP,当然会被封禁;又如普匿代理,目标服务器知道你是一只披着羊皮的狼,当然也会封禁你的真实IP;而如果使用高匿代理ip,高匿ip代理则是和正常家庭上网一样,没有什么区别。如果使用透明代理、普匿代理被目标服务器识别后被封IP,那应该就是代理IP的质量不行。但是,使用高匿代理IP后,还是被封IP,这到底是怎么回事呢?


明明用了代理ip,还是被封住了,这是为何?


  首先我们要清楚地知道,爬虫程序为什么需要代理IP?代理IP有什么作用?代理IP的原理是什么?之所以需要代理IP,是因为单IP频繁的爬取某个目标服务器,会对服务器造成巨大负载,服务器自然要作出一定的限制(限制访问频率或者限制访问次数,其根本是减少服务器压力),那如果超出限制的频率或者次数呢,反爬程序就会工作,比如把这个IP封禁,或者把整段IP进行封禁。而代理IP的作用就是代替被封的IP继续爬取,当到达了那个阈值时,这个代理IP一样会被封的,然后封了一个代理IP,还有千千万万个代理IP,前仆后继,只为完成爬取任务。由此可见,代理IP被封是很正常的,很多朋友认为,我用了代理IP,为什么要封我,我是不是买了个垃圾IP代理?然后就来找客服投诉,说自己被骗了,要求退款。


  其实封IP有很多种原因,上面那种被封情况是不可避免的,并不是使用了代理IP就不会被封了。但也有不正常被封的,比如使用了“垃圾代理”(透明代理)。还有使用了高匿代理ip,也没有爬取几次就被封了的情况,这是为什么呢?那是因为没有很好的模拟人工访问服务器的行为,也就是说爬取策略不当,比如没有清除cookie等原因,也有可能是目标服务器的反爬策略升级了,代理IP被封的原因有很多种,而找出原因,让每个代理IP能发挥出最大的作用则是爬虫工作者的工作职责,也就是升级爬虫策略。


  上文中我们提到,当超出限制的频率或者次数呢,反爬程序就会工作,比如把这个IP封禁,或者把整段IP进行封禁。这也就是为什么有些代理IP可用率低的原因,因为当某个IP段被封禁后,你拨出的下一个IP也是被封禁的,所以不可用,造成整体IP可用率很低,浪费很多时间,这是为什么呢?


  因为很多ADSL拨号的代理IP,拨出来的IP是连号的,这样的IP显得很假,跟正常用户访问的区别也很大,所以会有很多反爬程序会设置封禁整段IP地址,造成批量IP不可用,而代理精灵代理的IP,无论是http代理https代理socks代理,还是pptp、l2tp代理、openVPN协议的VPN,所有的IP均是离散分布,不连号,符合真实用户分布,且城市覆盖全面,节点分布比例与真实用户一致,能够有效地防止IP被BAN,即使整段IP被封也不会影响代理精灵IP的可用率,因为代理精灵IP提取的IP地址并不是连号的。从而提高了各项业务的效率。现在联系客服,可以免费进行测试。


相关文章内容简介
推荐阅读
  • 18 2019-04
    封禁IP无差别反爬,但换个IP还是可以突破的

    封禁IP无差别反爬,但换个IP还是可以突破的,就是这么简单,这也就是为什么爬虫都需要使用代理IP的原因。

  • 26 2019-04
    搭建代理服务器的步骤

    免费的代理IP不好用,想自己搭建代理服务器?那么你知道搭建代理服务器的步骤是怎样的吗?其实搭建的方法也不难,主要是先找个vps服务器,然后再进行搭建的,准备工作和方法如下:

  • 06 2020-02
    代理ip对工作的帮助

    大家都知道可以通过使用代理IP,可以避免泄露我们的真实IP,其实代理IP还有很多工作中需要用到它,可以对我们的工作带来很多帮助,下面就为大家进行详细的介绍。

  • 30 2019-05
    用IP代理提高网站的流量有好处么

    用IP代理提高网站的流量有好处么?一些新站几乎没有什么流量的,蜘蛛也不来,访问量非常的惨淡,就连收录排名这些数据也很差,怎么办是好呢?

  • 12 2019-11
    学习手机换IP的方式

    现在大家出门都几乎手机不离手,手机的使用率比电脑的使用率还要高了,确实一方面手机的大小要比电脑要便携得多。不仅要懂得电脑切换IP的方式,手机换IP的方式也要学习。

  • 01 2019-04
    高匿名代理ip不管用,还是被封了?

    高匿名代理ip不管用,还是被封了?很多时候我们在使用代理IP的过程中,或许都是会出现这个问题的。当然了,大家第一个想法都是被骗了,这家的产品质量不行。其实有时候并不是商家的原

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部