可以使用免费的http代理ip伪装自己的爬虫程序，毕竟如今网站的技术都不错，越是大平台其反爬越加的严，没有伪装好自己都爬取不了信息。

对于爬虫的伪装，找http代理ip来伪装IP地址信息无疑是个不错的选择。还有就是user-agent伪装，这请求头的user-agent参数必不可少，而且要随机，这里是大坑，我之前就是没有随机，然后爬了几天就被人反爬了。后来才发现是我的请求头里面的user-agent被封了。user-agent是浏览器的标识，所以越多越好，大量的随机，跟代理ip一样重要！我先提供一部分，也放不了这么多。

请求头的referer这个参数就是记录的来源。为什么要伪装这个参数。我详细的说明下，你来源不伪装，就直接请求别人的接口，凭什么，他这个接口可能只是给页面调用的。。浏览器请求的时候都有来源，你不伪装，不就暴露了，具体传什么参数，不同的网站都不一样，可以F12看下浏览器请求的时候传的什么。

代理ip必不可少，这里用免费的就不太好了，因为既然要爬数据，肯定要快，ip的要求就比较高，而且要有效的数量比较多，不然别人网站升级什么的，你没爬完，爬虫程序就蹦了。所以让老板花钱省心省力提高效率 。代理Ip的网站现在很多，我就不随便推荐了，免得查水表。

源码我就随便贴一下，应该是可以跑的，就是获取代理ip的url记得换下。

以上介绍了使用免费的http代理ip伪装自己的爬虫程序，也可以把user-agent伪装好，加深爬虫的隐藏程度，这样爬取更不容易被发现的。