您的位置:首页 > 新闻资讯 >文章内容
恶意“爬虫”的几个特征,租用IP代理也上黑名单
来源:互联网 作者:admin 时间:2019-04-18 14:43:11

  恶意“爬虫”的几个特征,租用IP代理也上黑名单。爬虫其实最早是用作搜索引擎的,但也可以作用批量收集信息,有些还被称为恶意“爬虫”,这是为何?


  所谓恶意“爬虫”,就是部分航空服务代理人通过“爬虫”非法抓取航空公司B2C网站或官方App等平台上的机票信息,然后非法倒卖给他人以牟取利益。部分代理人利用“爬虫”爬取下票务信息后,再利用虚假的身份信息预订机票,但不付款。在航空公司允许的订票账期付款内,转售给真正需要购票的用户。这就导致部分机票并未售出,但是用户在航空公司查看时却显示已售罄。该行为称之为“虚假占座”。


恶意“爬虫”的几个特征,租用IP代理也上黑名单


  恶意“爬虫”造成用户信息的泄露,浪费了航空公司带宽资源,白白消耗航空查询费用;而“虚假占座”不仅给航空公司和用户带来经济损失,损害了用户的合法权益,也扰乱航空公司的正常运营。更关键的是:由此带来订票量的波动导致航空公司收益管理系统算法产生误判,给出不符合实际情况的运价调整,损伤了用户权益以及平台的口碑。


  在国务院颁布五一劳动节假期安排后的72小时里内,多家航空公司网站的“爬虫”流量暴增。其中,虚假查票占总查询总量的36%以上,部分航空公司的虚假查票数字甚至高达99%。


  在长期反欺诈的攻防实战中,总结出了恶意“爬虫”的几个特征:


  1.同一设备上有规模化的访问和操作:“爬虫”的目的是最短时间内抓取最多信息,因此同一设备会有大量离散的行为,包括访问、浏览、查询等。


  2.访问来源IP地址异常:正常情况下用户在查询、购买时,用户的IP地址比较稳定,而且访问来源IP比较;“爬虫”、“虚假占座”等操作时,IP来源地址呈现不同维度上的聚集,而且浏览、查询、购票等操作时不停变化IP地址。


  3.访问的目标网页比较集中:“爬虫”代理人目标明确,主要是爬取班次、价格、数量等核心信息,因此只浏览访问几个固定页面,不访问其他页面。


  4.操作多集中非业务时间段:“爬虫”程序运行时间多集中在无人值守阶段。凌晨1-5点是恶意“爬虫”的运行高峰时段。此时系统监控会放松,而且平台的带宽等资源占用少,爬虫密集的批量爬取不会对带宽、接口造成影响。


  5.查询订票等行为很有规律:由于“爬虫”是程序化操作,按照预先设定的流程进行访问等,因此呈现出毫无思维、但很有规律、有节奏且持续的行为。


  6.设置UA模拟浏览器和频繁使用代理IP:很多“爬虫”程序伪装成浏览器进行访问,比如在程序头或者UA中默认含有类似python-requests/等固定字符串;并且通过购买或者租用的云服务、改造路由器、租用IP代理、频繁变更代理IP等进行访问。


  以上是介绍了关于恶意“爬虫”的几个特征,租用IP代理也上黑名单,如果租用的IP代理不好使用,被发现了,分分钟被拉进黑名单。


相关文章内容简介
推荐阅读
  • 29 2019-04
    爬虫老是被封杀是代理IP没有选好吗?

    爬虫老是被封杀是代理IP没有选好吗?要采集的数据稍微大些,都是需要使用代理IP的,不然绕不开,别人也不会白白就让你给爬的,但有时候会遇到大面积封杀的情况,这到底是怎么回事呢?

  • 15 2019-05
    分布式高质量代理IP

    在大数据时代,爬虫已成为互联网数据公司的关键职位。他们不仅要精通数据捕获和分析,还要熟悉搜索引擎和相关的搜索算法。其次还要熟悉搜索引擎和相关检索算法,对内存、性能、分布式

  • 10 2019-09
    什么是socks5协议的TCP认证?

    之前我们了解过socks5代理IP是怎么使用的?这种代理IP类型的使用越来越多,对于程序员而言,更好的了解它的工作原理以及相关知识,能够更加高效的开展工作,那么接下来,让我们解析socks5协

  • 24 2019-04
    爬虫代理为什么会用于电子商务行业?

    爬虫代理为什么会用于电子商务行业?我们知道爬虫是需要使用爬虫代理的,但是为什么电子商务行业也要使用爬虫代理呢?这其实跟商品的价格有关,众所周知,很多电商平台都有自动调价功

  • 04 2019-10
    html标签干扰爬虫破解方法

    不同的网站采用不一样的反爬虫方法,这个时候就需要我们爬虫工程师去进行好好研究了。针对每一种不同的方案,我们都能够找到一个突破口,这样才是爬虫的正确姿态。代理IP下面跟大家说

  • 13 2019-07
    选择动态ip代理软件注意事项

    选择动态ip代理软件注意事项,有些人并不在意,这有什么讲究的?讲究和不讲究,其结果不一样的。随着科技发达以及技术革新,越来越多新奇古怪的软件已经走进人们的生活,尤其是在市场

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961