您的位置:首页 > 新闻资讯 >文章内容
IP失效太多?怎么进行代理IP的有效性检测
来源:互联网 作者:admin 时间:2019-03-22 17:46:55

  在写网络爬虫时需要加入代理IP,若是不调用代理IP,其效果是非常差的,特别是使用免费的代理IP。这需要在使用之前,需要进行代理IP的有效性检测。


  因此,大家在做爬虫的时候,会事先爬取很多的代理ip作为备用,但是有些可能还用,有些可能就失效了。这会让程序会因此变得不甚稳定,最好可以在爬虫运行之前,保证代理IP的高可用性。比如,对这些代理IP进行清洗,找到有效的代理IP。


  我个人认为,测试代理IP有效性还是得从服务器端下手,毕竟代理IP是要去访问真正的服务器端的。所以在服务器端进行验证最合适不过了。服务器端验证完毕之后,将结果返回给客户端,如此“清洗”工作就可以据此完成。保留有效的代理IP,去除失效的代理IP。


  代码如下:


IP失效太多?怎么进行代理IP的有效性检测


  清洗效果:


IP失效太多?怎么进行代理IP的有效性检测


  另外有没有更简单的方法?怎样快速判断代理ip是否可用?可以尝试:


  在命令行下输入telnet XXX.XX.XX.XXX XX


  即 telnet ipaddress port


  例如: telnet 213.197.81.50 3128


  如果连接上,说明有效


  当然,测试代理IP有效性的方法有很多,仅供参考。要想提高爬取的效果,建议还是需要购买付费版的代理IP使用的(如:代理精灵),即使免费也耗费大量的时间,时间也是成本,这非常不划算。


相关文章内容简介
推荐阅读
  • 05 2019-09
    详解动态IP的优点与缺点

    动态IP与静态IP相对应,所谓的动态指的是每次上网,电信就会随机分配一个IP地址。在用代理IP的时候,自然也有动态IP与静态IP两种选择,那么今天先来说说动态IP的优点与缺点。

  • 28 2019-06
    HTTP代理IP应用于大数据

    HTTP代理IP应用于大数据,可能很多人并不知道,其实我们常常能在电视剧或者电影中可以看见,很多电脑高手,通过某一个或者几个特征信息,输入到电脑软件中,就能找到该目标任务的信息。

  • 16 2019-04
    PLPY4月榜单官宣,Python躺赢,实力甩下Java和C

    Python被称为胶水语言,但是与人工智能、大数据捆绑在一起的Python,越来越炽手可热了。PLPY4月榜单官宣,Python躺赢,再度“夺”冠,实力甩下Java和C!

  • 22 2019-03
    Scrapy爬取知乎------配置代理IP和UA

    爬虫们要想进行大规模的爬取数据,这并不容易,因为网站大量的反爬虫也不是摆设的,要想获取到这些数据,势必要伪装好自己的数据,那么需要伪装什么数据呢?

  • 13 2021-04
    代理ip如何有效采集大数据

    互联网时代飞速到来,随着用户量和使用量的增多,互联网现在可以说是一个庞大的数据库资源,而且是杂乱无章无结构的大数据库,如何将这些数据采集并有组织的呈现出来将会是一个很大的

  • 13 2019-05
    代理IP能突破网站的IP访问限制吗?

    代理IP能突破网站的IP访问限制吗?Web服务器防火墙的一个重要作用是防止拒绝服务(DDOS)攻击。如果您的刷新率超过防火墙定义的频率,它将被视为网站上的DDOS攻击,它将直接阻止您的IP或您

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部