您的位置:首页 > 新闻资讯 >文章内容
爬虫偶尔遇到301和302状态码,这是什么问题?
来源:互联网 作者:admin 时间:2019-04-08 17:02:00

  爬虫运行中是经常会遇到一些问题的,比如说,爬虫偶尔遇到301和302状态码,这是什么问题?对于这些问题,是如何解决的呢?


  其实301和302状态码都表示重定向,就是说浏览器在拿到服务器返回的这个状态码后会自动跳转到一个新的URL地址,这个地址可以从响应的Location首部中获取(用户看到的效果就是他输入的地址A瞬间变成了另一个地址B)。


  不过301和302状态码不太一样:


  301重定向/跳转一般,表示本网页永久性转移到另一个地址。301是永久性转移(Permanently Moved),SEO常用的招式,会把旧页面的PR等信息转移到新页面。


  302重定向表示临时性转移(Temporarily Moved ),当一个网页URL需要短期变化时使用。


爬虫偶尔遇到301和302状态码,这是什么问题?


  301和302状态码的区别:


  他们的不同在于,301表示旧地址A的资源已经被永久地移除了(这个资源不可访问了),搜索引擎在抓取新内容的同时也将旧的网址交换为重定向之后的网址;302表示旧地址A的资源还在(仍然可以访问),这个重定向只是临时地从旧地址A跳转到地址B,搜索引擎会抓取新的内容而保存旧的网址。


  通俗来讲,当一个网站或者网页24—48小时内临时移动到一个新的位置,这时候就要进行302跳转,打个比方说,我有一套房子,但是最近走亲戚去亲戚家住了,过两天我还回来的。而使用301跳转的场景就是之前的网站因为某种原因需要移除掉,然后要到新的地址访问,是永久性的,就比如你的那套房子其实是租的,现在租期到了,你又在另一个地方找到了房子,之前租的房子不住了。


  为什么要进行重定向:


  一般是由于网站调整(如改变网页目录结构);网页被移到一个新地址;网页扩展名改变(如应用需要把.php改成.Html或.shtml)。


  这种情况下,如果不做重定向,则用户收藏夹或搜索引擎数据库中旧地址只能让访问客户得到一个404页面错误信息,访问流量白白丧失;再者某些注册了多个域名的网站,也需要通过重定向让访问这些域名的用户自动跳转到主站点等。


  综上可知,爬虫偶尔遇到301和302状态码时不要惊慌,代理IP并没有失效,爬虫的身份也并没有被发现,只是这内容被转移了,还是可以继续爬取的。


相关文章内容简介
推荐阅读
  • 28 2019-08
    代理IP爬虫如何抓取微博热门数据

    机灵代理为大家带来Python爬虫爬取新浪微博话题的相关数据教程讲解,具体步骤如下:

  • 16 2019-06
    付费代理ip哪个好?

    付费代理ip哪个好?都说免费的代理ip不行,没有质量,还没有效率,怎么也不如付费的,但付费的就真的好用了么?

  • 12 2019-04
    HTTP代理的普通代理和隧道代理

    估计很多人都不认识HTTP代理,什么是HTTP代理?HTTP代理存在2种形式,即普通代理和隧道代理,这两个都有什么不同呢?下面为大家简单的介绍一下:

  • 28 2019-11
    Python爬虫设置代理IP使用

    Python爬虫为什么要使用代理IP?Python爬虫又要怎么完成设置代理IP?今天,机灵代理围绕着这两个问题,来给大家进行全面的介绍,希望能够解答到大家的疑问。

  • 06 2020-06
    电脑ip地址被封了怎么办

    在我们应用网络的时候,会遇到一些网站的限制访问的现象,大多数时候这是因为ip出现了问题。

  • 20 2019-06
    没有突破反爬虫是代理ip质量不行吗?

    没有突破反爬虫是代理ip质量不行吗?爬虫程序有时候突然不工作了,之前明明是可以的,哪里出问题了?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部