您的位置:首页 > 新闻资讯 >文章内容
http代理和带cookie的HTTP请求对爬虫的作用
来源:互联网 作者:admin 时间:2019-05-23 10:09:36

http代理和带cookie的HTTP请求对爬虫的作用,其中http代理是爬虫必不可少的,如果没有http代理,那么爬虫是无法长期快速的进行爬取的。带cookie的HTTP请求就需要看情况了,如果网站是需要登陆才能访问的,那么我们的爬虫要想进行爬取,可以发送带有cookie的HTTP请求。比如知乎的话题页面就要求用户登录才能访问,而 “登录” 离不开 HTTP 中的 Cookie 技术。

登录原理

Cookie 的原理非常简单,因为 HTTP 是一种无状态的协议,因此为了在无状态的 HTTP 协议之上维护会话(session)状态,让服务器知道当前是和哪个客户在打交道,Cookie 技术出现了 ,Cookie 相当于是服务端分配给客户端的一个标识。

http代理和带cookie的HTTP请求对爬虫的作用

  1. 浏览器第一次发起 HTTP 请求时,没有携带任何 Cookie 信息

  2. 服务器把 HTTP 响应,同时还有一个 Cookie 信息,一起返回给浏览器

  3. 浏览器第二次请求就把服务器返回的 Cookie 信息一起发送给服务器

  4. 服务器收到HTTP请求,发现请求头中有Cookie字段, 便知道之前就和这个用户打过交道了。

实战应用

用过知乎的都知道,只要提供用户名和密码以及验证码之后即可登录。当然,这只是我们眼中看到的现象。而背后隐藏的技术细节就需要借助浏览器来挖掘了。现在我们就用 Chrome 来查看当我们填完表单后,究竟发生了什么?

http代理和带cookie的HTTP请求对爬虫的作用


(如果已经登录的,先退出)首先进入知乎的登录页面 www.zhihu.com/#signin ,打开 Chrome 的开发者工具条(按 F12)先尝试输入一个错误的验证码观察浏览器是如何发送请求的。

http代理和带cookie的HTTP请求对爬虫的作用


从浏览器的请求可以发现几个关键的信息

  1. 登录的 URL 地址是 www.zhihu.com/login/email

  2. 登录需要提供的表单数据有4个:用户名(email)、密码(password)、验证码(captcha)、_xsrf。

  3. 获取验证码的URL地址是 www.zhihu.com/captcha.gif…

_xsrf 是什么?如果你对CSRF(跨站请求伪造)攻击非常熟悉的话,那么你一定知道它的作用,xsrf是一串伪随机数,它是用于防止跨站请求伪造的。它一般存在网页的 form 表单标签中,为了证实这一点,可以在页面上搜索 “xsrf”,果然,_xsrf在一个隐藏的 input 标签中

http代理和带cookie的HTTP请求对爬虫的作用


摸清了浏览器登录时所需要的数据是如何获取之后,那么现在就可以开始写代码用 Python 模拟浏览器来登录了。登录时所依赖的两个第三方库是 requests 和 BeautifulSoup,先安装

http代理和带cookie的HTTP请求对爬虫的作用

http.cookiejar 模块可用于自动处理HTTP Cookie,LWPCookieJar 对象就是对 cookies 的封装,它支持把 cookies 保存到文件以及从文件中加载。

而 session 对象 提供了 Cookie 的持久化,连接池功能,可以通过 session 对象发送请求

首先从cookies.txt 文件中加载 cookie信息,因为首次运行还没有cookie,所有会出现 LoadError 异常。

http代理和带cookie的HTTP请求对爬虫的作用

前面已经找到了 xsrf 所在的标签,,利用 BeatifulSoup 的 find 方法可以非常便捷的获取该值

http代理和带cookie的HTTP请求对爬虫的作用

验证码是通过 /captcha.gif 接口返回的,这里我们把验证码图片下载保存到当前目录,由人工识别,当然你可以用第三方支持库来自动识别,比如 pytesser。

http代理和带cookie的HTTP请求对爬虫的作用

一切参数准备就绪之后,就可以请求登录接口了。

http代理和带cookie的HTTP请求对爬虫的作用

请求成功后,session 会自动把服务端的返回的cookie 信息填充到 session.cookies 对象中,下次请求时,客户端就可以自动携带这些cookie去访问那些需要登录的页面了。

这就是http代理和带cookie的HTTP请求对爬虫的作用,由上可知,http代理主要是负责帮爬虫进行网络的突破,而带cookie的HTTP请求主要是帮助爬虫突破登陆限制。


相关文章内容简介
推荐阅读
  • 20 2019-03
    明明用了代理ip,还是被封住了,这是为何?

    明明用了代理ip,还是被封住了,这是为何?在做爬虫的时候会遇到一个问题,明明我已经使用爬虫代理ip了,却发现爬虫程序终止了,一查,真实ip被封了?是IP质量的问题吗?

  • 10 2019-10
    灵活使用代理IP的方式

    爬虫需要用到大量的IP,那么我们怎么保证我们有足够的有效IP来进行抓取呢?IP不足的问题可以通过代理IP来解决,而且更进一步的用法,就是搭建一个专门的代理IP池。要懂得使用代理IP,这样

  • 28 2019-07
    优质HTTP代理IP支持高并发

    优质HTTP代理IP支持高并发!现在网民越来越多,很多App、网站、系统承载的都是高并发请求,高峰期每秒并发量几千都很正常。就像每年的双十一,一年比一年的峰值高,每秒并发几十万,都是

  • 28 2019-05
    Python中urllib2/urllib代理设置

    我们进行数据的采集,一般都是使用Python编写爬虫的,Python编写会相对简单些,那么在爬虫中是如何设置HTTP代理的呢?

  • 03 2020-08
    该如何挑选高质量代理ip

    我们先来了解一下什么是代理ip服务器,代理服务器的功能便是代理网络用户去获取网络信息。形象地说,它是网络信息的中转站,是个人网络和Internet服务商之间的中间代理机构,负责转发合

  • 31 2019-05
    换IP用免费的IP资源怎样

    换IP用免费的IP资源怎样?大家对切换IP这个概念一直是很模糊的,甚至不知道切换IP了能做什么,对于一些用途似懂非懂,绕了很大的圈子。那么我们就来了解一下换了IP的作用,分为一下几点

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部