您的位置:首页 > 新闻资讯 >文章内容
IP失效太多?怎么进行代理IP的有效性检测
来源:互联网 作者:admin 时间:2019-03-22 17:46:55

  在写网络爬虫时需要加入代理IP,若是不调用代理IP,其效果是非常差的,特别是使用免费的代理IP。这需要在使用之前,需要进行代理IP的有效性检测。


  因此,大家在做爬虫的时候,会事先爬取很多的代理ip作为备用,但是有些可能还用,有些可能就失效了。这会让程序会因此变得不甚稳定,最好可以在爬虫运行之前,保证代理IP的高可用性。比如,对这些代理IP进行清洗,找到有效的代理IP。


  我个人认为,测试代理IP有效性还是得从服务器端下手,毕竟代理IP是要去访问真正的服务器端的。所以在服务器端进行验证最合适不过了。服务器端验证完毕之后,将结果返回给客户端,如此“清洗”工作就可以据此完成。保留有效的代理IP,去除失效的代理IP。


  代码如下:


IP失效太多?怎么进行代理IP的有效性检测


  清洗效果:


IP失效太多?怎么进行代理IP的有效性检测


  另外有没有更简单的方法?怎样快速判断代理ip是否可用?可以尝试:


  在命令行下输入telnet XXX.XX.XX.XXX XX


  即 telnet ipaddress port


  例如: telnet 213.197.81.50 3128


  如果连接上,说明有效


  当然,测试代理IP有效性的方法有很多,仅供参考。要想提高爬取的效果,建议还是需要购买付费版的代理IP使用的(如:代理精灵),即使免费也耗费大量的时间,时间也是成本,这非常不划算。


相关文章内容简介
推荐阅读
  • 12 2019-08
    代理IP池配合爬虫为博客增加访问量

    代理IP池配合爬虫为博客增加访问量,这个方法是可行的,关键是如何实现呢?以下程序主要是为了增长访问量而写的,主要针对一些访问量与用户信息无关的网页,比如CSDN。当然前提是python安

  • 19 2019-06
    使用IP代理没有效果怎么回事

    使用IP代理没有效果怎么回事?IP代理虽然是可以突破IP限制的,对于经常要换IP的项目都是可以使用的,不过有些人觉得使用IP代理效果不错,但也有人觉得没有效果,这是怎么回事呢?

  • 01 2019-09
    代理IP知识:多线程如何调用API获取IP?

    想要无限制调用API怎么办?其实方法可以很简单,只需要在本地搭建一个IP池就可以了,通过使用代理IP获得IP,再存入本地IP池,就可以通过本地API多线程获取,下面来看看具体步骤。

  • 26 2019-02
    使用代理IP访问https网站是否能保证数据的安全性

    使用代理IP访问https的网站,虽然浏览器会显示当前通信已经加密,但是由于使用的是代理IP,本机首先发送数据到代理服务器,代理服务器与https的网站之间是加密通信

  • 31 2019-10
    普通代理IP怎么理解?

    代理IP也有普通跟高级之分吗?就跟不同的服务级别,其实,代理IP也是可以根据IP的质量来分为普通代理以及高质量代理的。

  • 18 2019-09
    使用代理IP 我们能做什么?

    代理IP用于爬虫我们听得多了,可是爬虫并不是每个人都需要用到啊,这样代理IP的使用范围不就很窄吗?谁说代理IP只能够用来爬虫的,它可是大有用途呢?下面机灵代理让你看看IP代理还能拿来

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部