您的位置:首页 > 新闻资讯 >文章内容
html标签干扰爬虫破解方法
来源:互联网 作者:admin 时间:2019-10-04 10:15:00

  不同的网站采用不一样的反爬虫方法,这个时候就需要我们爬虫工程师去进行好好研究了。针对每一种不同的方案,我们都能够找到一个突破口,这样才是爬虫的正确姿态。代理IP下面跟大家说说html标签干扰怎么破。


html标签干扰爬虫破解方法


  html标签干扰


  通过在重要数据的标签里加入一些有的没的隐藏内容的标签,干扰数据的获取。


  如例子:xxIP代理平台


  <!--html-->

  <td class="ip">

  <p style="display:none;">2</p>

  <span>2</span>

  <span style="display:inline-block;"></span>

  <div style="display: inline-block;">02</div>

  <p style="display:none;">.1</p>

  <span>.1</span>

  <div style="display:inline-block;"></div>

  <span style="display:inline-block;"></span>

  <div style="display:inline-block;">09</div>

  <span style="display: inline-block;">.</span>

  <span style="display:inline-block;">23</span>

  <p style="display:none;">7</p>

  <span>7</span>

  <p style="display:none;"></p>

  <span></span>

  <span style="display: inline-block;">.</span>

  <div style="display: inline-block;"></div>

  <p style="display:none;">3</p>

  <span>3</span>

  <div style="display: inline-block;">5</div>:

  <span class="port GEA">80</span>

  </td>

  <!--js-->

  <script>

  $(".ip:eq(0)>*:hidden").remove()

  $(".ip:eq(0)").text()

  </script>

  <!--

  输出:202.109.237.35:80


  通过移除干扰标签里有display:none隐藏标签,然后再获取text就不会有干扰的内容了


  -->

  破解思路:


  过滤掉干扰混淆的HTML标签,或者只读取有效数据的HTML标签的内容。


  以上就是具体的操作方案,机灵代理,自建200+机房,数万拨号线路,提供企业级HTTP代理服务,IP覆盖全国200+城市,高匿名代理IP帮助你保护个人隐私。无论是网络爬虫、互联网营销、投票打榜都可以使用。


相关文章内容简介
推荐阅读
  • 05 2020-02
    代理IP带来了很大的便利

    代理IP是通过第三方网络协议传输的加密软件,其实跟IP加速器的原理差不多,是一种特殊的网络服务,允许客户端通过这个服务器和服务器进行非直接的连接。

  • 21 2019-06
    国内ip代理为什么很多不能使用

    国内ip代理为什么很多不能使用?在网上找个IP来使用,却发现很多都是设置之后,没有连接成功的,也是就是没有反映,这是怎么回事?国内ip代理为什么很多不能使用呢?

  • 06 2020-01
    免费代理ip​的风险!

    免费代理ip​的风险!不管什么东西,可能都是存在风险的,因此我们在使用之前是有必要去了解下其风险性程度的,倘若风险性过大,与收益差之深远,这就没有必要了,是吧。今天我们来讲下

  • 21 2019-06
    要用ip代理哪家有?

    要用ip代理哪家有?国内ip代理和网络爬虫之间的关系用一部电视剧来形容最为恰当,这部电视剧就是大家耳熟能详的“潜伏”,利用高度机密的身份打入敌人内部获取情报。国内ip代理就相当于

  • 07 2019-09
    用代理IP刷阅读量

    如果我们想要通过一些技术手段来短时间快速增加文章的阅读量,我们可以通过什么方式去解决呢?每一个IP地址就可以增加一个阅读,如果手头上有大量的IP,那不就可以提高文章的阅读量了吗?

  • 20 2019-12
    如何选择适合的代理IP?

    如何选择适合的代理IP?很多朋友表示代理种类太多了,不知道选择哪种好,今天我们就来分析下如何选择代理IP的,我们就看常用的一些代理,比如http、https以及socks5代理的:

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部