您的位置:首页 > 新闻资讯 >文章内容
IP失效太多?怎么进行代理IP的有效性检测
来源:互联网 作者:admin 时间:2019-03-22 17:46:55

  在写网络爬虫时需要加入代理IP,若是不调用代理IP,其效果是非常差的,特别是使用免费的代理IP。这需要在使用之前,需要进行代理IP的有效性检测。


  因此,大家在做爬虫的时候,会事先爬取很多的代理ip作为备用,但是有些可能还用,有些可能就失效了。这会让程序会因此变得不甚稳定,最好可以在爬虫运行之前,保证代理IP的高可用性。比如,对这些代理IP进行清洗,找到有效的代理IP。


  我个人认为,测试代理IP有效性还是得从服务器端下手,毕竟代理IP是要去访问真正的服务器端的。所以在服务器端进行验证最合适不过了。服务器端验证完毕之后,将结果返回给客户端,如此“清洗”工作就可以据此完成。保留有效的代理IP,去除失效的代理IP。


  代码如下:


IP失效太多?怎么进行代理IP的有效性检测


  清洗效果:


IP失效太多?怎么进行代理IP的有效性检测


  另外有没有更简单的方法?怎样快速判断代理ip是否可用?可以尝试:


  在命令行下输入telnet XXX.XX.XX.XXX XX


  即 telnet ipaddress port


  例如: telnet 213.197.81.50 3128


  如果连接上,说明有效


  当然,测试代理IP有效性的方法有很多,仅供参考。要想提高爬取的效果,建议还是需要购买付费版的代理IP使用的(如:代理精灵),即使免费也耗费大量的时间,时间也是成本,这非常不划算。


相关文章内容简介
推荐阅读
  • 14 2019-11
    代理服务器的工作流程与普通服务器有什么不同?

    总是看到有人上网会有代理IP,这是为什么?代理服务器跟我们普通服务器的响应流程是不一样的吗?我们用了代理服务器又能够享受到什么好处?

  • 14 2019-03
    对于爬虫来说,代理IP是否能用是非常重要的

    对于爬虫来说,代理IP是否能用,这是非常重要的。有没有什么方法可以检测这些代理IP是否能用呢?有的,比如直接用浏览器访问自己的服务器来测试,同时也可以从服务器端下手,毕竟代理IP

  • 28 2019-06
    HTTP代理IP应用于大数据

    HTTP代理IP应用于大数据,可能很多人并不知道,其实我们常常能在电视剧或者电影中可以看见,很多电脑高手,通过某一个或者几个特征信息,输入到电脑软件中,就能找到该目标任务的信息。

  • 22 2019-04
    利用IP代理突破--获取、测试、使用IP

    利用IP代理突破,这是很多爬虫通常的做法,不过并不是说用就能用了的,因为优质的IP代理并不好找,在找的过程中,我们或许需要先进行获取、测试,再使用IP的。本文主要讲利用IP代理突破

  • 18 2019-10
    刷票可以怎么更换IP地址?

    网络营销投票是经常用到的一个方式,但是由于受到IP的限制,往往一个IP只能够投一次票。如果大家想要实现多次投票,那么就需要对IP地址进行变换才行。以下是几种经过验证可用的方法。

  • 30 2020-11
    动态ip代理的代理模式

    ip代理的选择对许多用户来说是一个难题,不仅因为代理ip的类型太多,还因为用户对更换ip软件不够了解,这使得人们无法选择服务。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部