都知道网站是有反爬虫机制的，对于这些机制，网络爬虫就只能进行突破，否则无法成功的获取到数据，同时也要注意伪装好自己的数据，预防被封杀。这网络爬虫怎么预防被封杀的呢？本文重点介绍了网络爬虫应对反爬虫机制的方法，仅供大家参考。

    1.伪装好请求头

    识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36’

    这里拿urllib2来说，默认的User-Agent是Python-urllib2/2.7，所以要进行修改。

    2.识别陷阱避开

    自己爬着爬着就把隐藏元素都爬出来了，你说你自己是不是爬虫吧，这是网站给爬虫的陷阱，只要发现，立马封IP，所以请查看一下元素再进行爬取！

    3.使用换IP软件

    当自己的IP被网站封了之后，只能采取换代理IP的方式进行爬取，所以要找个好用的换IP软件，比如机灵代理，这其中IP池大，定期更新，IP质量也高，非常适合网络爬虫的使用。

    4.设置等待时间

    有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫，比如说以非常人的速度下载图片，登录网站，爬取信息。因此，我们要控制好爬取的速度，设置间隔时间。

    5.分布式爬取

    若是觉得爬取速度太慢了，不能满足爬取需求，可以使用分布式爬取，即基于Python,scrapy,redis的分布式爬虫实现框架，可以提高爬虫的效率。

    网络爬虫怎么预防被封杀？小编介绍了五点网络爬虫预防被封杀的技巧，一直以为，都是网络爬虫与反网络爬虫互相斗争，虽然很多时候都防不住，但是网站可以设置多种反网络爬虫来延迟网络爬虫获取的速度，有时候还会伪装数据，给网络爬虫造成各种麻烦。因此网络爬虫想要预防被封杀，就需要从各方面来伪装好自己。