您的位置:首页 > 新闻资讯 >文章内容
爬虫如何抓取网站数据?
来源:互联网 作者:admin 时间:2019-12-31 09:47:23

  爬虫如何抓取网站数据?在之前关于代理ip与爬虫的介绍当中,我们知道,网络爬虫是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。那么,我们怎么通过网络爬虫获取所需要的网站信息呢?


爬虫如何抓取网站数据


  不同的网站有不同的规则,爬虫工程师根据这些规则设计不同的网络爬虫,以此来顺利获取所需要的信息。


  一、开放API的网站

  一个网如果开放了API,那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。

  1、在站内寻找API入口;

  2、用搜索引擎搜索“某网站API”;

  3、抓包,有的网站虽然用到了ajax,但是通过抓包还是能够获取XHR里的json数据的(可用抓包工具抓包,也可以通过浏览器按F12抓包:F12-Network-F5刷新)。


  二、不开放API的网站

  1、如果网站是静态页面,那么可以用requests库发送请求,再通过HTML解析库(lxml、parsel等)来解析响应的text;解析库强烈推荐parsel,不仅语法和css选择器类似,而且速度也挺快,Scrapy用的就是它。

  2、如果网站是动态页面,可以先用selenium来渲染JS,再用HTML解析库来解析driver的page_source。


  三、反爬虫网站

  很多网站都具有反爬虫策略,常见的有:验证码、登陆、限制IP等。

  1、验证码。可以利用打码平台破解(如果硬上的话用opencv或keras训练图);

  2、登陆。利用requests的post或者selenium模拟用户进行模拟登陆;

  3、限制IP。购买代理IP(免费IP效果非常差,不建议使用)。


相关文章内容简介
推荐阅读
  • 12 2020-06
    代理​IP有什么用途

    网络现在已经是我们生活和工作中不能缺少的一部分,除了日常的娱乐灌水,很多的工作也是需要网络才可以完成,像问答推广、网络营销、数据采集等等,但是频繁的操作会让目标网站对你的

  • 03 2019-08
    爬虫切换代理IP几行代码即可

    爬虫切换代理IP几行代码即可!话说某天心血来潮想到一个问题,朋友圈里面经常有人发投票链接,让帮忙给XX投票,以前呢会很自觉打开链接帮忙投一票。可是这种事做多了就会考虑能不能使

  • 06 2020-08
    解读代理IP服务器

    现在很多互联网的从业者都知道代理IP,也有不少人在使用代理IP,最常见的就是在网络爬虫方面的使用。

  • 10 2019-06
    http代理提取后用不了咋回事

    http代理提取后用不了咋回事?关于http代理不能用这个问题,有一小部分用户可能会遇上,这究竟是怎么回事呢?为何提取出来的http代理无法使用呢?

  • 03 2019-04
    爬虫抢票利用了这些技术,IP限制也拦不住

    普通网民对一些行业不太清楚,也就不知道大流量的底下,其实很多都是爬虫造出来的。爬虫访问也是算浏览量的,不少人也利益爬虫这个特性来刷流量。不过今天不讲刷流量的问题,而是讲下

  • 28 2020-03
    代理ip有效提高爬虫速度

    高质量的ip代理在网络爬虫中是非常关键的存在,如果没有一个有效的换ip软件,大家可能就无法保障爬虫工作的进程了。为了保持爬虫的效率及正常运行,用好的代理IP很重要。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部