您的位置:首页 > 新闻资讯 >文章内容
代理IP检测:100个IP能用的仅有10个
来源:互联网 作者:admin 时间:2019-04-22 15:54:03

  大家知道代理IP检测方法吗?今天小编就来讲一讲代理IP检测问题,或许很多人都不知道为什么要对代理IP进行检测的,这是有原因的。要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的IP就能提高我们的工作效率。


  首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


  由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


  //代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }


  调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


代理IP检测:100个IP能用的仅有10个


  我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


代理IP检测:100个IP能用的仅有10个


  代理IP检测的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


  由上可见,其实免费的代理IP有效率是非常低的,建议在使用之前需要先进行坚持的,或者是使用机灵代理,95%以上的有效率,不需要检测也能直接使用。


相关文章内容简介
推荐阅读
  • 24 2019-05
    搭建一个爬虫代理IP池

    代理对于爬虫行业来讲,是很熟悉的,因为基本上没有爬虫代理大部分的数据都拿不到手,毕竟都不是自家开的平台,想要拿数据肯定是不可能的,总有各种的陷阱等着爬虫。而爬虫代理就是一

  • 05 2019-05
    免费的代理IP有用吗?

    免费的代理IP有用吗?就凭“免费”二字,是可以吸引非常多的用户,哪怕这东西没有多大价值甚至毫无价值,但是这免费的代理IP究竟能不能用呢?

  • 05 2019-05
    怎么挑选一款换ip软件?

    怎么挑选一款换ip软件?为什么要选换IP软件?其实我们的电脑等设备,连接网络时都需要IP地址,这个地址的作用就是用来断定这台电脑的位置。用ADSL等方法拨号上网的时分,每一次拨号取得的I

  • 11 2019-10
    代理IP添加API为什么要验证 这么麻烦?

    为什么使用代理IP的时候需要经过验证这么一个步骤?我不是已经付过费成为用户了吗?为什么不让我直接就用,还得要经过验证后才能够正常使用?下面机灵代理为大家进行解答。

  • 10 2019-04
    爬虫利器代理IP的获取过程--爬取高效IP

    实现爬虫代码不难,关键是要获取信息并不是那么的容易,不是说把爬虫写好来就行了,还要应对网站的反爬虫措施。而使用代理IP是爬虫利器。

  • 12 2019-07
    代理服务器是否有安全隐患?

    代理服务器是否有安全隐患?由于代理服务器一直是充当中间人存在的,我们访问目标需要先经过代理服务器,目标返回结果也是先经过代理服务器,这会不会不安全?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部