爬虫代理的有效性检测，这是一个必要的步骤，如果不进行检测就直接使用，对效率影响比较大。如果是有效率高的爬虫代理还好，如果有效率低，则不停的遇到无效IP。

　　正是由于免费的爬虫代理可用率很低，有效性也很低，所有要在使用之前进行爬虫代理的有效性检测，那么其有效性要怎么检测呢？

　　1.访问百度网页，通过返回的网页内容进行判断

　　经测试，发现存在以下问题：

　　虽然代理无效，也会返回一个网页，但不是百度，其内容大于5000，因此存在bug。

　　2.通过访问返回的ip来实现测试

　　注：假如返回的是代理池的ip，表明代理有效，否则实际代理是无效的。

　　3.telnet测试

　　经过测试，会看到存在以下问题：

　　即使一些代理商能够用telnet测试过关，可以现实还是不能用的。

　　总的看来，爬虫代理的有效性检测还是有些麻烦的，可用的也少，因此很多人都使用付费的爬虫代理的，推荐使用机灵代理，无需进行ip有效性检测，本身的ip有效性非常高，接近100%的有效性，能够很好的满足爬虫的需要。