学习Python爬虫，必然是想要爬取大规模数据，如果还想单个单个来爬取数据，那还不如人工采集呢？何必花时间花成本去做网络爬虫进行采集，是吧。但是想要爬取大规模数据，我们需要准备一些工具，那是什么呢？

　　我们知道，网站通常都有反爬虫机制，用来防止爬虫给网站带来太大的负载，影响网站的正常运行。所以，爬虫工程师在爬某网站之前都需要好好的研究一番，避免触发网站的反爬虫机制，这样才能愉快地获取所需的数据。那么，当任务量过于庞大时，如何愉快的按时完成任务呢？

　　避免触发网站的反爬虫机制，意味着要放弃访问速度，至少不能反人类，甚至不能达到对方设置的访问次数的阈值，这意味着要放弃爬取速度，这样就不能按时完成任务了。如何解决呢，其实也有两种方法，大量的高效代理IP和分布式爬虫系统。

　　一、高效代理IP，防封提速

　　代理IP相对于反爬虫机制来说就是个作弊器，相当于分身，每当触发了反爬虫机制被封后，就舍弃分身再换个继续上。当然，有了高效代理IP后也不能无视反爬虫机制，合理的反反爬虫机制可以有效地节约代理IP资源，否则就需要更大的成本去购买代理IP，同时还影响效率。

　　二、分布式爬虫，大规模并发采集

　　抓取基本数据信息内容已经不是问题了，您的瓶颈会集中到抓取海量数据信息内容的效率。这个时候，相信您会很自然地接触到一个很厉害的名字：分布式网络爬虫。

　　分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个网络爬虫同时工作，需要您掌握Scrapy+MongoDB+Redis这三种工具。

　　Scrapy用于做基本的页面抓取，MongoDB用于存储抓取的数据信息内容，Redis则用来存储要抓取的网页队列，也就是任务队列。

　　爬虫程序被部署在不同的机器上，每一台爬虫机器拥有不同的IP地址，并且每个爬虫以比较大的时间间隔抓取取据。单台爬虫机器虽然可以多线程进行抓取，但受自身资源限制（CPU、连接数、带宽等）和反爬虫机制限制（访问频率等），分布式爬虫可以大大地提高爬取效率。

　　由上可知，爬取大规模数据必备高效代理IP和分布式爬虫，但高效代理IP并不好找，这是何为？网络上大把免费的IP，何必花钱？但是这些几乎都是没有用的，要找高效代理IP，需要找代理精灵这样支持高匿名，并能提供全国海量IP的代理商。