HTTP代理可以避免IP被封锁！知己知彼才能百战不殆，因此很多商家都会收集同行信息的，而且情报的准确率也是占领市场的一大关键，我们需要了解我们的竞争对手产品服务等，同时，我们也要了解我们的目标群体的喜好等，这些都需要我们去做数据搜集。

    通过HTTP代理，爬虫技术可以尽情的发挥他的作用，海量的对数据进行搜集，毫无“同情心”的搜刮。当然你也可以不使用代理IP，爬虫的行动会收到很大的限制，导致本IP完全被封锁。那么还有什么方法可以避免IP被封锁呢？

    1.HTTP代理

    很多网站反爬虫的初衷就是限制IP，有一些人随便写一个循环就开始暴力爬取，这么做是会给网站的服务器带来很大负担的呀，明眼人一看你就不是用户的呀，那你来干啥子，封掉好了呀。这个时候你咋办，你慢一点的呀，到人家门口就要听人家的呀，你爬进去停个几秒好不啦。

    当然了，你可以更换IP绕过这样的限制，HTTP代理可以避免IP被封锁，比如使用机灵代理的。或者网上免费的代理IP也不少，你也可以自己搭建一个IP池，爬到一定的量就换IP。当然了，你要是想省点力气，节约点时间，那你就可以试试机灵代理。

    2.数据清洗

    有一句话说是“女人何苦为难女人”放在这里就是本都是程序，相煎何太急“你爬他的东西，他还要防止你爬他的东西。反爬虫这帮工程师也真是煞费苦心，一方面要防着真实的数据被大规模的爬取，另一方面他还得给你找点事情干干，给你的后期数据处理加点料。如果数据伪造的好，可能爬虫者还真不知道自己在白忙活，当然你要是慧眼识珠的话后期就自己来清洗吧。

    3.selenium+phantomJS框架

    通过异步加载，一方面可以给网页浏览带来不同的体验，实现更多的功能，另外一个方面也是为了反爬虫。还有很多动态的网站是通过ajax或者JavaScript来加载请求的网页。

    在遇到动态加载的网页的时候就需要去分析ajax请求，一般情况都能直接找到包含我们想要数据的json文件。如果网站给文件加密，那么可以通过selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。

    理论上selenium是比较全能的爬虫方案，因为这个确实算是真实的用户行为。除非网站的反爬虫严苛到宁愿误杀的地步。

    以上介绍了HTTP代理可以避免IP被封锁，另外如果遇到数据伪造还需要数据清洗，异步加载也需要通过selenium+phantomJS框架，还有更多的反爬虫，应对的方法也是要对症下药的。