您的位置:首页 > 新闻资讯 >文章内容
爬虫如何抓取网站数据?
来源:互联网 作者:admin 时间:2019-12-31 09:47:23

  爬虫如何抓取网站数据?在之前关于代理ip与爬虫的介绍当中,我们知道,网络爬虫是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。那么,我们怎么通过网络爬虫获取所需要的网站信息呢?


爬虫如何抓取网站数据


  不同的网站有不同的规则,爬虫工程师根据这些规则设计不同的网络爬虫,以此来顺利获取所需要的信息。


  一、开放API的网站

  一个网如果开放了API,那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。

  1、在站内寻找API入口;

  2、用搜索引擎搜索“某网站API”;

  3、抓包,有的网站虽然用到了ajax,但是通过抓包还是能够获取XHR里的json数据的(可用抓包工具抓包,也可以通过浏览器按F12抓包:F12-Network-F5刷新)。


  二、不开放API的网站

  1、如果网站是静态页面,那么可以用requests库发送请求,再通过HTML解析库(lxml、parsel等)来解析响应的text;解析库强烈推荐parsel,不仅语法和css选择器类似,而且速度也挺快,Scrapy用的就是它。

  2、如果网站是动态页面,可以先用selenium来渲染JS,再用HTML解析库来解析driver的page_source。


  三、反爬虫网站

  很多网站都具有反爬虫策略,常见的有:验证码、登陆、限制IP等。

  1、验证码。可以利用打码平台破解(如果硬上的话用opencv或keras训练图);

  2、登陆。利用requests的post或者selenium模拟用户进行模拟登陆;

  3、限制IP。购买代理IP(免费IP效果非常差,不建议使用)。


相关文章内容简介
推荐阅读
  • 12 2019-04
    没有客户?可以用代理IP去爬取用户信息吗?

    没有客户?可以用代理IP去爬取用户信息吗?有时候大家总会接到各类的推销电话,我们的信息是如何泄露出去的呢?这些业务人员是怎么拿到我们的电话信息?下面就以装修行业来说下:

  • 27 2020-05
    代理ip要怎么选择呢

    代理ip怎么选择呢?代理IP很多人都不陌生,特别是推广人员,可以给我们的工作带来很大的帮助。随着需求的增大,IP代理软件特别多,所以在挑选的时候让很多用户不知该怎么办。那么,代理

  • 15 2020-10
    ip代理如何让网络更安全

    如果你不知道什么是网络ip代理,那么你对互联网的使用掌握就还不是特别清楚,因为现在的网络环境,实质上是需要我们来使用这些工具来保护网络安全的。

  • 01 2019-09
    代理IP知识:多线程如何调用API获取IP?

    想要无限制调用API怎么办?其实方法可以很简单,只需要在本地搭建一个IP池就可以了,通过使用代理IP获得IP,再存入本地IP池,就可以通过本地API多线程获取,下面来看看具体步骤。

  • 19 2019-11
    代理IP如何帮助文章刷阅读数?

    现在是软推广的时代,硬广对于勾起消费者的购物欲望已经失去魔力了。所以我们需要将一些推广软文来发布在网络不同平台上,可是如果阅读量很少怎么办呢?下面代理IP跟大家一起关注这个问

  • 01 2019-10
    代理IP知识:IP不通是什么原因?

    网卡出现故障的时候,我们应该怎么解决?IP地址不响应了又是什么情况?机灵代理为大家讲解上述问题的解决方案。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部