您的位置:首页 > 新闻资讯 >文章内容
网站常用四种反爬虫,爬虫们如何应对?
来源:互联网 作者:admin 时间:2019-02-18 16:23:34

    搭建网站,需要考虑反爬虫,否则容易被大量的爬虫影响。网站的反爬虫基本上都是必须要设置的,那么设置哪些反爬虫好呢?哪种反爬虫拦截效果好?今天跟小编去了解下网站常用四种反爬虫:


    1.使用robots.txt文件


    例如阻止所有的爬虫爬取,但是这种效果不是很明显。


    2.基于程序本身去防止爬取


    作为爬虫程序,爬取行为是对页面的源文件爬取,如爬取静态页面的html代码,可以用jquery去模仿写html,这种方法伪装的页面就很难被爬取了,不过这种方法对程序员的要求很高。


    3.使用nginx的自带功能


    通过对httpuseragent阻塞来实现,包括GET/POST方式的请求,以nginx为例,具体步骤如下:


网站常用四种反爬虫,爬虫们如何应对?


    4.基于iptables和shell脚本


    可以对nginx的access.log进行策略定义,例如定义在1分钟内并发连接数超过30个ip为非法,如ip不在白名单内,则加入iptables策略封掉,当然这种的缺点是会有“误伤”,策略细粒度越小就会有更多的“误伤”,细粒度大就会使效果变差,另外还有类似的第三方工具fail2ban,利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址(例如网易、有道)的爬取行为拒绝也很难准确做到,因为你无法准确知道这些特定的爬虫ip地址(例如网易、有道),以下是我的定位方式,不过发现由于ip库不准确造成错误的屏蔽。注意:建议不要用封ip条目的方式,iptables列表长度是65535时就会封满,服务器也就会死机。


网站常用四种反爬虫,爬虫们如何应对?


    以上介绍的就是网站常用四种反爬虫,对于这些反爬虫,大家又是怎么应对的呢?是使用代理IP,还是伪装请求头,设置cookie...


    想要了解更多的突破反爬虫方法,可以关注代理精灵,突破反爬虫有妙招。


相关文章内容简介
推荐阅读
  • 27 2020-10
    找个什么样的代理IP好呢

    网络推广营销是现在大部分商家主要应用的手段,通过在不同的论坛发布商品宣传来让更多人了解自己的产品,但是大部分的平台都有限制,不允许大量发广告信息,这就需要切换多账户发布,

  • 22 2020-07
    重启路由器能不能换ip

    有时候IP被限制了,怎么换IP访问,重启路由器可以换IP吗?一般家庭的基于PPPOE拨号方式上网的,使用的是动态IP,可以更换IP,下面一起去看看具体方法:

  • 01 2019-11
    充分利用代理IP有效时间

    我们选择代理IP服务的时候,能够知道正在使用的代理IP剩余有效使用时间吗?如果我们能够掌握IP的有效时间,那么就能够充分利用好代理IP,不造成资源浪费。下面我们来看看如何实现:

  • 19 2020-01
    代理ip从哪儿来

    现在动态代理IP​有很多地方都用的到,所以很多人使用。现在有很多商家都可以提供动态代理IP,那么,动态代理IP商提供的IP是哪里来的呢?

  • 15 2020-05
    爬虫代理ip的关键作用

    代理IP对于爬虫工作者来说一定不会陌生,爬虫和反爬虫的斗争就需要仰赖于代理IP,http代理IP在爬虫工作中起到了很关键的作用。因此,http代理IP的质量就显得相当重要,优质的http代理IP可以

  • 29 2019-05
    IP地址是否对网络速度有影响

    获取IP时,有时连接到WiFi非常慢,使用这自动获取IP的动态IP上网网速是不是很慢呢?动态IP和静态IP哪个网速快?IP地址是否对网络速度有影响?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部