您的位置:首页 > 新闻资讯 >文章内容
IP失效太多?怎么进行代理IP的有效性检测
来源:互联网 作者:admin 时间:2019-03-22 17:46:55

  在写网络爬虫时需要加入代理IP,若是不调用代理IP,其效果是非常差的,特别是使用免费的代理IP。这需要在使用之前,需要进行代理IP的有效性检测。


  因此,大家在做爬虫的时候,会事先爬取很多的代理ip作为备用,但是有些可能还用,有些可能就失效了。这会让程序会因此变得不甚稳定,最好可以在爬虫运行之前,保证代理IP的高可用性。比如,对这些代理IP进行清洗,找到有效的代理IP。


  我个人认为,测试代理IP有效性还是得从服务器端下手,毕竟代理IP是要去访问真正的服务器端的。所以在服务器端进行验证最合适不过了。服务器端验证完毕之后,将结果返回给客户端,如此“清洗”工作就可以据此完成。保留有效的代理IP,去除失效的代理IP。


  代码如下:


IP失效太多?怎么进行代理IP的有效性检测


  清洗效果:


IP失效太多?怎么进行代理IP的有效性检测


  另外有没有更简单的方法?怎样快速判断代理ip是否可用?可以尝试:


  在命令行下输入telnet XXX.XX.XX.XXX XX


  即 telnet ipaddress port


  例如: telnet 213.197.81.50 3128


  如果连接上,说明有效


  当然,测试代理IP有效性的方法有很多,仅供参考。要想提高爬取的效果,建议还是需要购买付费版的代理IP使用的(如:代理精灵),即使免费也耗费大量的时间,时间也是成本,这非常不划算。


相关文章内容简介
推荐阅读
  • 24 2019-08
    3招教你挑对代理IP

    互联网时代,越来越多人在用代理IP这项服务,那么面对市面上那么多的代理IP商,精明的消费者应该怎么进行筛选,我们要看什么方面来进行判断呢?

  • 23 2019-07
    用动态ip代理软件的益处有哪些?

    用动态ip代理软件的益处有哪些?不知道大家是否都有使用过动态ip代理软件,其实动态ip代理软件属于代理,可以更换ip地址,如果你利用动态ip代理软件上网访问时,电脑浏览器并不是立即到we

  • 06 2020-07
    代理ip的需求十分庞大

    大家都说这是一个网络的新时代,自从网络在人们的工作、生活上广泛应用之后,我们与网络的连接就已经无时无刻建立起来了。

  • 01 2019-06
    代理服务器可以进行IP加速

    代理服务器可以进行IP加速,一般游戏需要加速,或者看视频也可以IP加速的,这IP加速原理是怎样的呢?

  • 21 2019-03
    爬虫的IP代理不生效怎么解决?

    爬虫的IP代理不生效怎么解决?我们使用IP代理的时候要考虑到IP代理池中的IP不一定都是有效的,如果出现错误,需要从这方面进入处理。比如切换IP个新的IP使用,并继续处理当前这个URL。如果

  • 24 2019-10
    Python爬虫框架 你最喜欢用哪种?

    JAVA、C语言等编程语言都可以用来写爬虫,所以爬虫不止有一种模式,而是根据使用的环境不同,有多种框架存在。代理IP作为爬虫的好搭档,下面给大家介绍爬虫的常用框架:

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部