爬虫要依靠代理IP来躲过反爬虫机制，这是一个比较常见的爬虫应对反爬的方法，毕竟许多网站做了反爬虫策略，或者会对每个IP做频次控制，这是因为自身抓取网站信息的强度和抓取速度太大，给另一方服务器带去了过多的压力，因此你始终用相同代理IP抓取这个网页，很有可能IP会被严禁访问网页。

　　大部分做爬虫的都躲不过去IP的难题，必须许多的IP来实现自身IP地址的不断转换，达到正常爬取信息的目的，在这个时候就需要代理IP出马了。因此做网络爬虫时，通常对代理IP的需要量较为大。

　　一般来说，爬虫自身是没有能力去维护服务器或者是自己搞定代理ip的问题，一来由于技术含量太高，二来由于成本太高。当然，也有一些人会在网上放一些免费的代理ip，但是从实用性、稳定性以及安全性来考虑，都不推荐大家使用免费的ip。因为网上公布的代理ip不一定是可用的，很可能你在使用过程中会发现ip不可用或者已失效的情况。

　　正是由于爬虫要依靠代理IP来躲过反爬虫机制，所以现在市面上很多代理服务器应运而生，基本上都能给你提供代理ip的服务，就像机灵代理，是自建服务器的，因此在质量上相当不错的，如果对代理IP有质量上的要求，可以考虑下的。如果没有质量上的要求，那么找免费的也行。