想解决IP被封这种窘境，要用http代理！IP被封，处理的方法就是换IP，这是最省时间的方法，尤其是大数据时代来临，爬虫工作者的春天也随之来了。然而在我们进行爬虫业务时，却经常受到目标网站反爬虫机制的阻碍，尤其是分布式爬虫，因为采集信息量和采集速度过快，常常给对方服务器带来巨大负荷，不用猜也知道你是爬虫，怎么可能不被封。如果还没遇到被封IP的场景，要不就是你量太小人家懒得理你，要不就是人家压根不在乎...

    要想解决IP被封这种窘境，需要更换IP访问，可用使用http代理，怎么解决呢？

    1、找到一个免费的http代理网站，也可用使用付费的，例如机灵代理。

    2、爬取ip（常规爬取requests+BeautifulSoup）

    3、验证ip有效性（携带爬取到的ip，去访问指定的url，看返回的状态码是不是200）

    4、记录ip（写到文档）

    从免费的http代理中提取IP添加IP池的方法虽然有用，但是从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的ip。网上公布的http代理不一定是可用的，很可能你在使用过程中会发现ip不可用或者已失效的情况。

    而且通常情况下，爬虫用户自己是没有能力去自己维护服务器或者是自己搞定http代理的问题的，一来是因为技术含量太高，二来是因为成本太高。

    所以现在，许许多多的代理服务器应运而生，基本都能提供ip代理的服务，区别在于价格和有效性。

    对于爬虫来说，使用http代理堪称一个捷径，当遇到IP被封，换个IP就可以继续访问。

    这里给大家介绍一家企业级http代理——机灵代理，可以为用户提供全国IP切换资源，千万级IIP池，但是机灵代理仅提供国内网络节点，不提供境外网络节点，不能用于任何非法用途。