您的位置:首页 > 新闻资讯 >文章内容
常见几个突破反爬虫的技巧
来源:互联网 作者:admin 时间:2019-01-14 15:45:31

    写一个爬虫并不难,特别是使用python语言编写更是可以利用各种的库,相对其他语言更加容易些,即使如此,爬虫不能很高效的完成任务的,这是因为网站都有设置了反爬虫,如果不能突破这些反爬虫,是无法顺利的获取到信息的。那么这么反爬虫应该如何突破呢?下面小编为大家介绍几个突破反爬虫的技巧:


    1.利用分布式爬取


    分布式爬取的也有很多Githubrepo。基本原理具体是维护一个所有集群机器能够有效分享的分布式队列。


    运用分布式爬取再有其它一个意义:大规模爬取,单台设备的负荷太大,更何况速度比较慢,多台设备还可以设置一个master管理多台slave去一起爬取。


常见几个突破反爬虫的技巧


    2.修改User-Agent


    最普遍的就是伪装浏览器,修改User-Agent(用户代理)。


    User-Agent是指包含浏览器信息、操作系统信息等的一个字符串,也称作一种特殊的网络协议。服务器根据它判断当前浏览对象是浏览器、邮件客户端还是爬虫。在request.headers里还可以查看user-agent,有关如何分析数据包、查找其User-Agent等信息,这些在前边的文章里提到过。


    具体做法可以把User-Agent的值改为浏览器的办法,乃至可以设置一个User-Agent池(list,数组,字典都可以),存放多个“浏览器”,每一次爬取的时候任意取一个来设置request的User-Agent,这样User-Agent会一直在变化,防止被墙。


    3.修改IP


    其实微博识别的是IP,并不是账号。换句话说,当需要连续爬取许多数据的时候,模拟登录都没有意义。如果是相同IP,不管怎么换账号都没有用,主要的是换IP。


    web server应对爬虫的策略之一就是直接将IP或是整个IP段都封掉禁止访问,当IP被禁封后,转换到其他IP继续访问即可。方法:代理IP、本地IP数据库(使用IP池),比如使用机灵代理,千万级的IP池,更换IP更有保障。


    4.设置cookies


    cookie其实是储存在用户终端的某些被加密的数据,一些网站通过cookies来识别用户身份,假如某个访问总是高频率地发请求,很可能会被网站注意到,被嫌疑为网络爬虫,这时候网站就可以通过cookie找到这些访问的用户而拒绝接受其访问。还可以自定义设置cookie策略(防止cookie rejected问题:拒绝写入cookie)或者禁止cookies。


    5.控制时间频率


    规模性集中访问对服务器的影响很大,网络爬虫可以短时间扩大服务器负载。在这里必须注意的是:设定下载时间间隔的范围控制,时间间隔过长,无法满足短时间大规模抓取的要求,等待的时间过短则很有可能被拒绝访问。


    在之前“从url获取HTML”的方法里,针对httpGet的配置设置了socket超时和连接connect超时,其实这里的时长不是绝对的,关键在于目标网站对网络爬虫的控制。另外,在scrapy爬虫框架里,专有参数可以设置下载等待时间download_delay,这些参数可以设置在setting.py里,也能设置在spider里。


    上文介绍了五个突破反爬虫的技巧,这里要提醒下,互联网上海量的网站,各个网站的反爬虫机制都不同,不尽是使用上面的反爬虫机制,但是上面介绍的五种是非常常见的,即使没有全部使用,也包含一二。另外,还有许多的反爬虫机制,这就需要根据网站而定了。


相关文章内容简介
推荐阅读
  • 02 2019-10
    代理IP网络开源爬虫代码分享

    想要获得海量数据的入口,爬虫技术必不可少。过去由于代理IP的缺乏,爬虫工作的展开较为艰难以及所需要耗费的时间较多,但是自从代理IP得到了使用,爬虫变得轻松了许多,也顺势促进了

  • 10 2019-01
    爬虫用代理IP突破限制就能高枕无忧了吗

    代理IP可以说是爬虫的好帮手,不管是什么的项目,都需要用到代理IP进行访问的突破,否则爬虫无法进行大量的采集工作。爬虫用代理IP突破限制就能高枕无忧了吗?

  • 06 2019-05
    代理IP可以伪装用户真实IP地址

    互联网的飞速发展,越来越多的用户在上网过程中暴露个人的隐私信息,做电商的担心店铺刷单太多而造成被封,做营销的担心投票数不够而排不到好的名次...这个时候使机灵代理进行IP更换就

  • 10 2019-05
    代理IP访问网站为什么不能100%成功?

    代理IP访问网站为什么不能100%成功?如果说是代理IP本身质量不过关,那么还好说,但是有时候明明这些代理IP都检测过了,都是能用的,为何还是会有失败的情况出现呢?

  • 18 2019-06
    哪些网络用户喜欢使用代理服务器

    哪些网络用户喜欢使用代理服务器?代理服务器与服务器是不一样的,很多人使用了代理服务器,但其本身可能不知道,也有些人主动去使用代理服务器的,因为代理服务器可以突破IP网络的限

  • 19 2019-11
    如何用代理IP组成一个本地IP池?

    一个本地的IP池是由什么组成的呢?要怎么才能够搭建一个本地IP池?下面就让代理IP来告诉大家。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部