搭建网站，需要考虑反爬虫，否则容易被大量的爬虫影响。网站的反爬虫基本上都是必须要设置的，那么设置哪些反爬虫好呢？哪种反爬虫拦截效果好？今天跟小编去了解下网站常用四种反爬虫：

    1.使用robots.txt文件

    例如阻止所有的爬虫爬取，但是这种效果不是很明显。

    2.基于程序本身去防止爬取

    作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。

    3.使用nginx的自带功能

    通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例，具体步骤如下：

    4.基于iptables和shell脚本

    可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址（例如网易、有道），以下是我的定位方式，不过发现由于ip库不准确造成错误的屏蔽。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。

    以上介绍的就是网站常用四种反爬虫，对于这些反爬虫，大家又是怎么应对的呢？是使用代理IP，还是伪装请求头，设置cookie...

    想要了解更多的突破反爬虫方法，可以关注代理精灵，突破反爬虫有妙招。