您的位置:首页 > 新闻资讯 >文章内容
IP失效太多?怎么进行代理IP的有效性检测
来源:互联网 作者:admin 时间:2019-03-22 17:46:55

  在写网络爬虫时需要加入代理IP,若是不调用代理IP,其效果是非常差的,特别是使用免费的代理IP。这需要在使用之前,需要进行代理IP的有效性检测。


  因此,大家在做爬虫的时候,会事先爬取很多的代理ip作为备用,但是有些可能还用,有些可能就失效了。这会让程序会因此变得不甚稳定,最好可以在爬虫运行之前,保证代理IP的高可用性。比如,对这些代理IP进行清洗,找到有效的代理IP。


  我个人认为,测试代理IP有效性还是得从服务器端下手,毕竟代理IP是要去访问真正的服务器端的。所以在服务器端进行验证最合适不过了。服务器端验证完毕之后,将结果返回给客户端,如此“清洗”工作就可以据此完成。保留有效的代理IP,去除失效的代理IP。


  代码如下:


IP失效太多?怎么进行代理IP的有效性检测


  清洗效果:


IP失效太多?怎么进行代理IP的有效性检测


  另外有没有更简单的方法?怎样快速判断代理ip是否可用?可以尝试:


  在命令行下输入telnet XXX.XX.XX.XXX XX


  即 telnet ipaddress port


  例如: telnet 213.197.81.50 3128


  如果连接上,说明有效


  当然,测试代理IP有效性的方法有很多,仅供参考。要想提高爬取的效果,建议还是需要购买付费版的代理IP使用的(如:代理精灵),即使免费也耗费大量的时间,时间也是成本,这非常不划算。


相关文章内容简介
推荐阅读
  • 27 2019-05
    选用代理IP千万不要以价格为准

    选用代理IP千万不要以价格为准,这是为什么呢?很多朋友在购物时都是以价格为主要因素,就拿代理IP来说,有免费的就不用收费的,有便宜的就不用更贵的。这样虽然降低了成本,但同时也

  • 20 2019-03
    如何获取国内高质量的代理IP?

    代理IP的来源比较多,一般大家都使用哪家的质量比较好?来源都有哪些?效果怎么样?如何获取国内高质量的代理IP?

  • 18 2020-03
    哪种类型代理ip最好用

    代理ip有不同的类型,之前为大家介绍过代理IP的类型分别是透明代理IP、匿名代理IP、高匿名代理IP、混淆代理IP。那么,哪种代理IP在实际应用中最好呢?

  • 27 2019-03
    服务器代理IP哪家强?

    对于很多爬虫来说,他们目前只是一个为了不断应付越来越高级牌爬虫代理的目的而成就了现在无数代理IP的行业。尤其是现在这个行业中各式各样的爬虫服务越来越多,想要找到一家可靠的服

  • 21 2019-03
    爬虫抓取数量大,使用什么代理IP池好?

    爬虫抓取数量大,使用什么代理IP池好?一般做营销都是需要使用代理IP的,但有些项目需要的代理IP比较多,比如爬爬虫抓取大数据,这样小的代理IP不够用,建议搭建代理IP池使用的,比如找

  • 08 2019-07
    爬虫程序效率不够找海量动态IP

    爬虫程序效率不够找海量动态IP,这是一个非常好的解决方法。由于网站有反爬机制,其中IP限制是非常限制了爬虫的速度的,如果不降低爬取速度,分分钟被封,这太麻烦了。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部