假如我们高频率访问网页，会被网站发现被检测到IP，可能会导致IP被封，或者限制访问的。但为了任务，又不能放弃，这该怎么办呢？现在爬虫和反爬虫一直在斗争，这是不可避免的问题，但是爬虫也是有方法应对的，那就是使用代理IP，这是最效果的方法。

　　一、寻找可用代理ip

　　我们百度代理ip会出现各种各样的代理ip网站，有免费的，有收费的。

　　1.免费的：

　　这些免费的代理ip，大部分都失效了，但是还是有一些有用的，有用率大概在10%左右。我们可以将验证时间在1个小时之内的ip和端口抓取下来(大概是第一个页面)，然后验证哪些ip可用。在验证代理是否有效的时候，代码运行需要时间比较长，读者可以将其改成多线程。免费代理适用于需求量较少的情况。

　　2.付费的：

　　这些付费代理，有些也并不是可用率都非常高的，因为有些直接是网络扫描得来的，虽然已经有检测过了，但是有效率依然不高，每家的代理有效率在20%~60%左右。有能力也不用购买，就自己扫描检测好了。

　　若是需要更高有效率的代理IP，需要根据自己的需求购买更贵的私密代理或者独享代理。比如：

　　代理精灵：http://www.jinglingdaili.cn

　　IP代理精灵：http://www.ipjldl.com/

　　黑洞HTTP：http://http.hunbovps.com/

　　购买付费代理，在代理网站生成提取代理链接后，提取代理，然后验证代理的有效性，步骤和免费代理差不多，只是提取代理的url不同而已，自行尝试。

　　二、代理IP的调用

　　要调用代理，我们首先要构建一个代理池。需要实现的功能：

　　1.定时验证代理的有效性，将无效代理删除。因为免费代理或者购买的代理有效时间不确定，有几分钟，几十分钟，几个小时等，我们要保证我们代理池中的代理基本都是有效的，这样才能使我们抓取成功率高。

　　2.每个代理都需要记录最后一次访问网站的时间。为了控制一个代理至少隔多少时间才能再次访问。

　　3.随机选择一个符合上述条件的代理，来作为我们的代理。建立代理池，定时更新代理，代理调度的代码。

　　我们在采集数据的时候，遇到IP限制，大家都知道应该怎么做了吧，是的，可以使用代理IP，这可能快速有效的解决办法。即使降低访问频率，效果也没有那么好，而且还可以降低抓取的效率。因此，代理IP是非常有用的。