企业为了更好的了解市场，调研用户需求，会对市场以及竞争对手进行网络数据爬取分析的操作，简称为大数据分析。而这数据就是通过代理IP网络爬虫获得回来的。

　　在我们从事python爬虫的技术者在爬虫时，经常会遇到要爬取的终端网站采取了反爬虫机制，在高强度，高效率的爬取网站的网页信息时，会给终端服务器带来巨大的压力，所以当反复使用一个ip时，很快就会被终端服务器识破，导致ip被封，无法再次访问爬取了。如何解决这个问题?那就是使用代理ip。

　　代理IP就是突破返爬虫机制瓶颈的唯一出口，代理ip具有海量的ip储备备用，可以隐藏自己的真是ip，用百万代理ip代理本地ip去完成采集工作。

　　如何获取到代理IP?

　　获取免费代理ip对于一个从事爬虫技术者来说并不难，只要写个程序代码在网上或一些专业代理ip服务平台的开放代理就可以获取大量的免费代理ip，从代理ip网站爬取IP地址及端口号并储存，然后通过访问指定的网站验证ip是否能用,格式化ip地址，在requests中使用代理ip爬取网站。但是这种ip缺点也很多，如：有效率低，质量差，安全性差，还不是高匿代理ip。存在者很大的风险。

　　所以，在用在专业一点的业务上面，大家就会选择质量更高的代理IP，比如机灵代理的付费IP，虽然需要花钱来购买，但是安全以及IP质量都有保障。