网络爬虫通常用于搜索引擎中，都是非常受欢迎的，但有时候网络爬虫为什么被封了？网络爬虫被封，主要是因为企业使用网络爬虫来采集大量的数据，对方网站为了维护网站的正常运转，都会设置各种反爬虫机制，若触发了这些机制，便会把你的网络爬虫封了。

      若想网络爬虫不被封，这就要看你的网络爬虫有没有伪装好，我们可以从下面这几个方面来检查下：

      1.检查爬虫请求头

      大部分的网站会封杀一些爬虫访问。你不确定请求头的值怎样才算合适，就用你自己浏览器的请求头吧。

      2.检查爬虫cookie

      如果你已经登录网站却不能保持登录状态，或者网站上出现了其他的“登录状态”异常，请检查你的cookie。确认在加载每个页面时cookie都被正确调用，而且你的cookie在每次发起请求时都发送到了网站上。

      3.检查爬虫JavaScript

      如果你从网络服务器收到的页面是空白的，缺少信息，或其遇到他不符合你预期的情况（或者不是你在浏览器上看到的内容），有可能是因为网站创建页面的JavaScript执行有问题。

      4.检查爬虫速度

      快速采集是一种恶习，会对网管的服务器造成沉重的负担，还会让你陷入违法境地，也是IP被网站列入黑名单的首要原因。给你的爬虫增加延迟，让它们在夜深人静的时候运行。切记：匆匆忙忙写程序或收集数据都是拙劣项目管理的表现；应该提前做好计划，避免临阵慌乱。

      5.检查爬虫参数

      如果你准备向网站提交表单或发出POST请求，记得检查一下页面的内容，看看你想提交的每个字段是不是都已经填好，而且格式也正确。用Chrome浏览器的网络面板（快捷键F12打开开发者控制台，然后点击“Network”即可看到）查看发送到网站的POST命令，确认你的每个参数都是正确的。

      6.检查爬虫IP地址

      如果你在客户端遇到了HTTP错误，尤其是403禁止访问错误，这可能说明网站已经把你的IP当作机器人了，不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除，要么就换个IP地址（可以使用代理IP）。

      使用代理，可以找机灵代理，这是绕不过去的，毕竟爬虫总是要考虑数量以及速度的问题，单个IP无法满足爬虫的使用需求，必须储备大量的IP，这只有代理IP能够满足了，而机灵代理就能为你提供大量的IP。

      网络爬虫为什么被封了？这其中的原因非常的多，总之就是触发了网站的反爬虫机制，要想不被封，首先要好好的研究下网站都有些什么的反爬虫，根据这些来制定突破的方法。上面小编介绍六个比较常见的问题，大家要多注意些。