您的位置:首页 > 新闻资讯 >文章内容
明明用了代理ip,还是被封住了,这是为何?
来源:互联网 作者:admin 时间:2019-03-20 18:00:19

  明明用了代理ip,还是被封住了,这是为何?在做爬虫的时候会遇到一个问题,明明我已经使用爬虫代理ip了,却发现爬虫程序终止了,一查,真实ip被封了?是IP质量的问题吗?


  当然不排除这个可能,比如使用透明代理,目标服务器明确知道你使用了代理,也能知道你的真实IP,当然会被封禁;又如普匿代理,目标服务器知道你是一只披着羊皮的狼,当然也会封禁你的真实IP;而如果使用高匿代理ip,高匿ip代理则是和正常家庭上网一样,没有什么区别。如果使用透明代理、普匿代理被目标服务器识别后被封IP,那应该就是代理IP的质量不行。但是,使用高匿代理IP后,还是被封IP,这到底是怎么回事呢?


明明用了代理ip,还是被封住了,这是为何?


  首先我们要清楚地知道,爬虫程序为什么需要代理IP?代理IP有什么作用?代理IP的原理是什么?之所以需要代理IP,是因为单IP频繁的爬取某个目标服务器,会对服务器造成巨大负载,服务器自然要作出一定的限制(限制访问频率或者限制访问次数,其根本是减少服务器压力),那如果超出限制的频率或者次数呢,反爬程序就会工作,比如把这个IP封禁,或者把整段IP进行封禁。而代理IP的作用就是代替被封的IP继续爬取,当到达了那个阈值时,这个代理IP一样会被封的,然后封了一个代理IP,还有千千万万个代理IP,前仆后继,只为完成爬取任务。由此可见,代理IP被封是很正常的,很多朋友认为,我用了代理IP,为什么要封我,我是不是买了个垃圾IP代理?然后就来找客服投诉,说自己被骗了,要求退款。


  其实封IP有很多种原因,上面那种被封情况是不可避免的,并不是使用了代理IP就不会被封了。但也有不正常被封的,比如使用了“垃圾代理”(透明代理)。还有使用了高匿代理ip,也没有爬取几次就被封了的情况,这是为什么呢?那是因为没有很好的模拟人工访问服务器的行为,也就是说爬取策略不当,比如没有清除cookie等原因,也有可能是目标服务器的反爬策略升级了,代理IP被封的原因有很多种,而找出原因,让每个代理IP能发挥出最大的作用则是爬虫工作者的工作职责,也就是升级爬虫策略。


  上文中我们提到,当超出限制的频率或者次数呢,反爬程序就会工作,比如把这个IP封禁,或者把整段IP进行封禁。这也就是为什么有些代理IP可用率低的原因,因为当某个IP段被封禁后,你拨出的下一个IP也是被封禁的,所以不可用,造成整体IP可用率很低,浪费很多时间,这是为什么呢?


  因为很多ADSL拨号的代理IP,拨出来的IP是连号的,这样的IP显得很假,跟正常用户访问的区别也很大,所以会有很多反爬程序会设置封禁整段IP地址,造成批量IP不可用,而代理精灵代理的IP,无论是http代理https代理socks代理,还是pptp、l2tp代理、openVPN协议的VPN,所有的IP均是离散分布,不连号,符合真实用户分布,且城市覆盖全面,节点分布比例与真实用户一致,能够有效地防止IP被BAN,即使整段IP被封也不会影响代理精灵IP的可用率,因为代理精灵IP提取的IP地址并不是连号的。从而提高了各项业务的效率。现在联系客服,可以免费进行测试。


相关文章内容简介
推荐阅读
  • 07 2019-05
    苹果手机如何更换静态IP?

    有时候可能手机获取不了IP地址,导致无法正常连接网络,那么如何更换IP地址呢?如果需要长期挂机,是否能设置静态IP使用?苹果手机如何更换静态IP?

  • 19 2019-07
    使用http代理的三大优势

    使用http代理有什么优势?很多人使用互联网时,需要突破一些限制,比如他们需要人工注册、需要网页拥有大量的阅读量、需要不同的IP地址去投票点击等等,然而,一个人的力量是有限的,而

  • 30 2019-01
    Web爬虫从哪里找大量IP突破限制

    Web爬虫需要抓取大量数据,但另一方不会让我们随意下载此信息,并且各种限制仍在继续,其中最常见的是IP限制。虽然IP限制可能会意外伤害一些真实用户,但它可以有效地控制爬行速度并减

  • 10 2020-04
    免费代理ip从哪些地方获取

    针对互联网ip特殊的应用场景,需要使用代理ip去完成任务,业务的应用场景有很多,对ip的要求也是各种各样,针对业务需求去决定ip的质量要求,所以代理ip中就有一种开放的免费代理ip,如果

  • 05 2019-05
    用了匿名代理IP还能检测本地IP么?

    用了匿名代理IP还能检测本地IP么?有些人是会有这样的担心,小编告诉大家,这并不一定的。因为匿名有高匿名和普通匿名的,自然是高匿名的效果好,普通匿名的效果相对差些,就是差这么

  • 07 2020-02
    那种类型的代理ip最好

    我们都知道,代理ip有不同的类型,代理IP的类型分别是透明代理IP、匿名代理IP、高匿名代理IP、混淆代理IP。那么在实际应用中应该使用哪种代理ip?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部