爬虫采集数据用IP代理的原因，这一点估计有些人依旧不明白，这其实是跟网站的反爬策略有关的。比如请求头检测，IP限制等等。对于这些反爬策略，怎么解决呢？

    通常我们是先把User Agent设置好了，但是还应该考虑一个问题，程序的运行速度是很快的，如果我们利用一个爬虫程序在网站爬取东西，一个固定IP的访问频率就会很高，这不符合人为操作的标准，因为人操作不可能在几ms内，进行如此频繁的访问。所以一些网站会设置一个IP访问频率的阈值，如果一个IP访问频率超过这个阈值，说明这个不是人在访问，而是一个爬虫程序。这就是为什么爬虫采集数据用IP代理的原因了！

    使用了IP代理之后，就可以不停的切换其他IP地址，避免同一个IP一直在频繁访问的。对于IP代理的获取以及使用，我们可以参考下方的步骤：

    1.爬取网站，使用了requests+beautifulsoup库

    2.验证的网站使用了京东和淘宝的首页，也可以使用其他首页，用了urllib+beautifulsoup库

    3.将爬取后的代码存入本地的数据库中，这里使用的是sql server 2008，用的是pyodbc库

    4.验证的时候开了20个线程，用了python里的threading库

    5.定期从库中拿出IP代理，将失效的ip删除