您的位置:首页 > 新闻资讯 >文章内容
代理IP检测:100个IP能用的仅有10个
来源:互联网 作者:admin 时间:2019-04-22 15:54:03

  大家知道代理IP检测方法吗?今天小编就来讲一讲代理IP检测问题,或许很多人都不知道为什么要对代理IP进行检测的,这是有原因的。要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。


  首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


  由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


  //代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }


  调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


代理IP检测:100个IP能用的仅有10个


  我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


代理IP检测:100个IP能用的仅有10个


  代理IP检测的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


  由上可见,其实免费的代理IP有效率是非常低的,建议在使用之前需要先进行坚持的,或者是使用机灵代理,95%以上的有效率,不需要检测也能直接使用。


相关文章内容简介
推荐阅读
  • 15 2019-05
    分布式高质量代理IP

    在大数据时代,爬虫已成为互联网数据公司的关键职位。他们不仅要精通数据捕获和分析,还要熟悉搜索引擎和相关的搜索算法。其次还要熟悉搜索引擎和相关检索算法,对内存、性能、分布式

  • 15 2019-02
    网页提示403错误是什么问题?代理IP能否解决?

    互联网上网的过程中,或许会遇到错误,网页打不开,特别是爬取抓取数据时,更加容易出现403错误。网页提示403错误是什么问题?我们要怎么解决这个问题呢?

  • 23 2019-05
    http代理租用哪家好?

    http代理租用哪家好?现在网络时代,很多时候我们都需要使用到http代理的,如果选择租用,选择哪家的http代理比较好呢?使用http代理的时候,需要选择合适的服务商。但是网络上的服务商非

  • 10 2019-09
    动态IP加速器是什么?

    如果是对互联网知识没有那么多了解的话,那么在挑选代理IP的时候,确实会头痛,看着那么多的不同IP类型,它们之间有什么会存在什么区别吗?新手又怎么能够去找到适合自己的代理,下面跟

  • 21 2019-09
    代理IP分享Python爬虫技巧

    在我们使用代理IP开展爬虫的时候,会遇到一些使用上的问题以及操作上的问题。那么,Python要怎么才能够使用得得心应手呢?一些必要的知识点跟技巧点自然少不了,所以,机灵代理特意为大家

  • 08 2019-10
    哪些方法可以帮助获取代理IP?

    现在有很多的网络项目,都需要用到代理IP,一个比较常规的操作就是爬虫,相信爬虫工作都或多或少感受过被代理IP支配的恐惧。那么,这当中我们所使用的代理IP从何而来呢?我们主要可以通

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961