在进行数据采集之前，我们需要先来了解下爬虫的HTTP请求分析，这样有助于我们快速进行信息的处理。可能还有人不知道什么是爬虫的，这里介绍下：

　　爬虫是什么？爬虫就是通过发送请求，获取网页数据，然后进行解析存储的一个过程。

　　爬虫发送请求的过程就是模仿用户浏览的一个过程，比如：

　　我们在浏览器中输入一个URL，回车之后便会在浏览器中观察到页面内容，实际上这个过程是浏览器向网站所在的服务器发送了一个Request，即请求，网站服务器接收到这个Request之后进行处理和解析，然后返回对应的一个Response，即响应，然后传回给浏览器，Response里面就包含了页面的源代码等内容，浏览器再对其进行解析便将网页呈现了出来。

　　其实我们常说爬虫其实就是一堆的http(s)请求，找到待爬取的链接，然后发送一个请求包，得到一个返回包，当然，也有HTTP长连接(keep-alive)或h5中基于stream的websocket协议。过程中会出现像时间限制、IP限制、验证码限制，可能会导致爬虫无法进行，所以也出现了很多像代理IP、时间限制调整这样的方法去接触反爬虫限制，当然具体的操作方法需要你针对性的去研究。

　　以上详细的介绍了爬虫的HTTP请求分析，如果需要找代理IP解决，机灵代理支持三大协议，即http/https/Socks5，可以为众多用户提供优质的代理IP服务。