您的位置:首页 > 新闻资讯 >文章内容
代理IP检测:100个IP能用的仅有10个
来源:互联网 作者:admin 时间:2019-04-22 15:54:03

  大家知道代理IP检测方法吗?今天小编就来讲一讲代理IP检测问题,或许很多人都不知道为什么要对代理IP进行检测的,这是有原因的。要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。


  首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


  由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


  //代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }


  调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


代理IP检测:100个IP能用的仅有10个


  我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


代理IP检测:100个IP能用的仅有10个


  代理IP检测的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


  由上可见,其实免费的代理IP有效率是非常低的,建议在使用之前需要先进行坚持的,或者是使用机灵代理,95%以上的有效率,不需要检测也能直接使用。


相关文章内容简介
推荐阅读
  • 05 2020-10
    怎么查看手机ip地址呢

    以前总是电脑需要换ip的,现在手机也用于工作了,那么手机是否能换ip呢?ip类似于于每台计算机上网的一个临时身份证,为什么是临时呢,因为它能换。因此不管是电脑还是手机可以是可以换

  • 11 2019-04
    HTTP代理ip伪装用户爬取数据

    网络爬虫通过是采用HTTP代理ip伪装用户爬取数据,因为现在爬数据越来越难了,网站设了各种反爬,太难搞了,还是简单的网站基本没有什么反爬,一般弄些HTTP代理ip就能搞定了。

  • 26 2019-10
    爬虫实战案例:抓取京东图片

    利用爬虫程序,我们可以实现不同的数据抓取,可以抓取文字信息,也可以抓取音频信息、图片信息等。机灵代理下面带来一个爬虫案例实战分享。

  • 15 2019-06
    大家使用共享代理IP池的优缺点

    大家使用共享代理IP池的优缺点是怎样的?对于爬虫工作者来说,除了要解决令人头疼的反爬虫策略,还需要寻找高效稳定的代理IP。然而,国内固有的IP数量满足不了日益增长的IP需求,所以现

  • 12 2019-06
    代理服务器的定义和作用

    代理服务器的定义和作用,很多人都可能了解的似是而非,能了解一点,却不并不是很透彻。今天机灵代理小编带大家去看看关于代理服务器的定义和作用。

  • 26 2019-12
    选择代理ip​要考察什么?

    选择代理ip​要考察什么?虽然IP代理行业现在有了一个很好的发展方向,但我们必须看到,由于这个行业的发展速度非常快,也有一个不好的一面,比如市场的快速发展导致IP质量参差不齐,用

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部