您的位置:首页 > 新闻资讯 >文章内容
几十亿的网络爬虫都在干啥?大量的爬虫用代理IP抢票去了
来源:互联网 作者:admin 时间:2019-03-21 17:04:19

  根据去年的互联网恶意爬虫分析报告,我们才知道实际上,全网每天要遭受几十亿恶意爬虫的攻击。而我们之前只知道互联网中至少有一半的流量是爬虫产生的,现在看来,恶意爬虫越来越多,估计有七八成的流量都是来自于这些网络爬虫。这几十亿的网络爬虫都在干啥?


  其实爬虫本来是个好东西,以谷歌搜索为例,在符合Robots协议规范的基础上,通过爬取其他网站的页面,提供给用户快捷搜索和访问的便利,对于搜索者和被搜索者来说本是一件共赢的事情,所以最早源于搜索引擎的爬虫是非常善意的。


  但爬虫毕竟不产生数据,作为拥有获取数据能力的搬运工,在市场对数据日益增大的需求之下,尤其伴随“大数据”概念的兴起,越来越多地催生了“恶意爬虫”打破君子协定,疯狂且贪婪地吮吸着有价值的数据,以此来谋取暴利。


  给你看一张图:


几十亿的网络爬虫都在干啥?大量的爬虫用代理IP抢票去了


  这张图里显示的,就是各行各业被爬“叨扰”的比例。(注意,这张图显示是全世界,不是全中国。)而每一个色块背后,都是一条真实而强大的利益链条。


  恶意爬虫流量排名TOP10的行业,出行、社交、电商三巨头果然还是数据产生最多的地方,也是恶意爬虫的主要战场。


  下面以出现抢票为例进一步分析情况:


  出行行业中爬虫的占比最高(20.87%)。在出行的爬虫中,有89.02%的流量都是冲着12306去的。这不意外,全中国卖火车票的独此一家别无分号。


  你还记得当年史上最坑图片验证码么?这些东西不是为了故意难为老老实实卖票的人的,而恰恰是为了阻止爬虫(也就是抢票软件)的点击。刚才说了,爬虫只会简单的机械点击,它不认识哪个明星,所以很大一部分爬虫就被挡在了门外。


  你可能会说,不对啊,我现在还可以用抢票软件抢到票啊。没错,抢票软件也不是吃素的,它们在和铁总搞“对抗”。


  有一种东西叫做“打码平台”,你可以了解一下。


  打码平台雇佣了兼职人员,他们在电脑屏幕前不做别的事情,专门帮人识别验证码。那边抢票软件遇到了验证码,系统就会自动把这些验证码传到叔叔阿姨面前,他们手工选好哪个是白百何哪个是王珞丹,然后再把结果传回去。总共的过程用不了几秒时间。


  当然,这样的打码平台还有记忆功能。如果兼职人员已经标记了这张图是“锅铲”,那么下次这张图片再出现的时候,系统就直接判断它是“锅铲”。时间一长,12306系统里的图片就被标记完了,机器自己都能认识,兼职人员都可以坐在一边斗地主了。


  你可能会问:为什么12306这么抠呢?它大方地让爬虫随意爬会死吗?


  答:会死。


  你知道每年过年之前,12306被点成什么样了吗?公开数据是这么说的:“最高峰时1天内页面浏览量达813.4亿次,1小时最高点击量59.3亿次,平均每秒164.8万次。”这还是加上验证码防护之后的数据。可想而知被拦截在外面的爬虫还有多少。


  况且这里还没有讨论,被抢票软件把票抢走,对我们父母那样的不会抢票的人来说,是不是公平呢?


  铁路被爬虫“点鸡”成这样已经够惨了,但它还有个难兄难弟,就是航空。


  而航空里,被搞得最惨的不是国航,不是海航,也不是东航。而是亚航。


  很多人可能都没坐过亚洲航空。这是一家马来西亚的廉价航空公司,航线基本都是从中国各地飞往东南亚的旅游胜地,飞机上连矿泉水都得自费买,是屌丝穷X度假之首选。


  为什么爬虫这么青睐亚航呢?因为它便宜。确切地说,因为它经常放出便宜的票。


  本来,亚航的初衷只是随机放出一些便宜的票来吸引游客,但这里面黄牛党是有利可图的。


  据我所知,他们是这样玩的:


  技术宅黄牛党们利用爬虫,不断刷新亚航的票务接口,一旦出现便宜的票,不管三七二十一先拍下来再说。


  亚航有规定,你拍下来半小时(具体时间记不清了)不付款票就自动回到票池,继续卖。但是黄牛党们在爬虫脚本里写好了精确的时间,到了半小时,一毫秒都不多,他又把票拍下来,如此循环。直到有人从黄牛党这里定了这个票,黄牛党就接着利用程序,在亚航系统里放弃这张票,然后0.00001秒之后,就帮你用你的名字预定了这张票。


  由于频繁的访问网页,网站会进行IP访问频率的限制,因此想要一直访问,这爬虫是需要使用代理IP的,不停的切换不同的IP地址继续访问。使用代理IP,可以找代理精灵,高匿名,非常好用。


相关文章内容简介
推荐阅读
  • 27 2019-03
    服务器代理IP哪家强?

    对于很多爬虫来说,他们目前只是一个为了不断应付越来越高级牌爬虫代理的目的而成就了现在无数代理IP的行业。尤其是现在这个行业中各式各样的爬虫服务越来越多,想要找到一家可靠的服

  • 08 2019-05
    机灵代理的ip有效时间可控制

    机灵代理的ip有效时间可控制,这IP有效时间其实受很多的因素影响,比如,代理服务器受网络带宽、访问量、服务器本身性能等多种因素影响,其稳定性也是受影响的。

  • 02 2019-09
    代理IP用第三方检测工具为什么失灵?

    购买了代理IP服务,为了检测IP的可用性,大家都会喜欢用工具去检测一下IP是否有效。但是有时候,在用工具检测的时候,会发生显示IP无效的情况,那么这种情况,真的是代理IP的锅吗?

  • 09 2019-08
    爬虫如何解决ip封锁问题?最佳方法用代理IP

    爬虫如何解决ip封锁问题?最佳方法用代理IP!在采集网站的时会遇到一些比数据显示在浏览器上却抓取不出来更令人沮丧的事情。也许是向服务器提交自认为已经处理得很好的表单却被拒绝,

  • 11 2019-04
    筛选免费代理ip中可以能用的IP

    我们筛选免费代理ip中可以能用的IP,这个问题难不难解决呢?就目前来说,免费代理ip网站还是有非常多的,从网上一搜大把。

  • 11 2019-06
    代理IP的有效性受地域和时间影响

    代理IP的有效性收地域和时间影响,为什么呢?很多东西都是有时效的,就像食物都是有保质期,代理IP也不例外,这也就是为什么在使用代理IP的过程中有时候会遇到报错的原因之一。

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961