爬虫伪装请求头还是伪装IP地址好？由于互联网上许多平台有限制，因此爬虫是无法直接去爬取网站的信息，最好的办法是伪装成为用户去爬取，怎么伪装呢？爬虫伪装请求头还是伪装IP地址好？

    header检验是最简单的反爬虫机制，就是检查HTTP请求的Headers信息，包括User-Agent, Referer、Cookies等。

    1、User-AgentUser-Agent是检查用户所用客户端的种类和版本。最简单的解决方法就是建立一个很多浏览器User-Agent的列表，然后在每次请求中，随机选取一个真实浏览器的User-Agent。

    2、RefererReferer是检查此请求由哪里来，通常可以做图片的盗链判断。简单的解决方法可以这样：如果某个页面url是通过之前爬取的页面提取到，自动把之前爬取的页面url作为Referfer。当然，也可以自定义一个合理的Referfer列表，每次请求随机选择一个。

    3、Cookies网站可能会检测Cookie中session_id的使用次数，如果超过限制，就触发反爬虫策略。所以可以设置 COOKIES_ENABLED=False 让请求不带Cookies。如果网站强制开启Cookis，可以另写一个简单的爬虫，定时向目标网站发送不带Cookies的请求，提取响应中Set-cookie字段信息并保存。爬取网页时，把存储起来的Cookies带入Headers中。

    如果某一个IP的请求速度过快或者反人类，就会触发反爬机制，有两种解决方法，一种是直接花钱，找代理IP来伪装IP地址，推荐机灵代理，千万IP池，实现不同IP访问网站。另外一种是放慢爬取速度，代价是效率降低，可能完不成任务。

    综上看来，爬虫伪装请求头还是伪装IP地址好？网站可以进行header检验也能记录IP的请求速度，因此如果爬虫想要顺利的进行爬取，最好是同时伪装请求头和伪装IP地址的，这样可以避免拖累情况出现。