爬虫们要想进行大规模的爬取数据，这并不容易，因为网站大量的反爬虫也不是摆设的，要想获取到这些数据，势必要伪装好自己的数据，那么需要伪装什么数据呢？

　　首先呢，如果有钱的话建议自己去购买个比较高级的代理IP，代理精灵也是可以的，这种代理响应速度比一般的要快很多。知乎对爬虫限制相对来说没有那么严格，所以一般的IP也没啥用（当然我说的单台），如果你部署多台的话有个代理IP是很爽的，方便快捷。

　　找代理IP，大家自行百度，我就不多说了，基本每个代理都有免费的额度。

　　先把UA池配了，爬虫应该UA池是必须配的。

　　在setting.py中加入下面的代码：

　　UA池，百度一搜一大堆。

　　在中间件middlewares.py中写入下面的代码。使用代理IP池的方法可以去GitHub上搜proxy，很多。

　　在新建一个py文件放入下面的代码：

　　到这配置基本就结束 了。在setting.py中修改下面的代码：

　　完全结束，启动项目就会发现请求是从代理IP发出的。如果配合scrapy-redis配置多台应该效率还是可以的。

　　对于数据的爬取，使用单个爬虫是满足不了，若是使用多个爬虫，也是要借用到代理IP的，通过代理IP池的使用，爬虫爬取会更方便。