您的位置:首页 > 新闻资讯 >文章内容
爬虫偶尔遇到301和302状态码,这是什么问题?
来源:互联网 作者:admin 时间:2019-04-08 17:02:00

  爬虫运行中是经常会遇到一些问题的,比如说,爬虫偶尔遇到301和302状态码,这是什么问题?对于这些问题,是如何解决的呢?


  其实301和302状态码都表示重定向,就是说浏览器在拿到服务器返回的这个状态码后会自动跳转到一个新的URL地址,这个地址可以从响应的Location首部中获取(用户看到的效果就是他输入的地址A瞬间变成了另一个地址B)。


  不过301和302状态码不太一样:


  301重定向/跳转一般,表示本网页永久性转移到另一个地址。301是永久性转移(Permanently Moved),SEO常用的招式,会把旧页面的PR等信息转移到新页面。


  302重定向表示临时性转移(Temporarily Moved ),当一个网页URL需要短期变化时使用。


爬虫偶尔遇到301和302状态码,这是什么问题?


  301和302状态码的区别:


  他们的不同在于,301表示旧地址A的资源已经被永久地移除了(这个资源不可访问了),搜索引擎在抓取新内容的同时也将旧的网址交换为重定向之后的网址;302表示旧地址A的资源还在(仍然可以访问),这个重定向只是临时地从旧地址A跳转到地址B,搜索引擎会抓取新的内容而保存旧的网址。


  通俗来讲,当一个网站或者网页24—48小时内临时移动到一个新的位置,这时候就要进行302跳转,打个比方说,我有一套房子,但是最近走亲戚去亲戚家住了,过两天我还回来的。而使用301跳转的场景就是之前的网站因为某种原因需要移除掉,然后要到新的地址访问,是永久性的,就比如你的那套房子其实是租的,现在租期到了,你又在另一个地方找到了房子,之前租的房子不住了。


  为什么要进行重定向:


  一般是由于网站调整(如改变网页目录结构);网页被移到一个新地址;网页扩展名改变(如应用需要把.php改成.Html或.shtml)。


  这种情况下,如果不做重定向,则用户收藏夹或搜索引擎数据库中旧地址只能让访问客户得到一个404页面错误信息,访问流量白白丧失;再者某些注册了多个域名的网站,也需要通过重定向让访问这些域名的用户自动跳转到主站点等。


  综上可知,爬虫偶尔遇到301和302状态码时不要惊慌,代理IP并没有失效,爬虫的身份也并没有被发现,只是这内容被转移了,还是可以继续爬取的。


相关文章内容简介
推荐阅读
  • 04 2019-07
    找个能用的高匿名IP代理

    找个能用的高匿名IP代理,网上很多不能用的免费IP代理,而且很多都是透明的,或者普通匿名的,效果不好,需要找个能用的高匿名IP代理。

  • 28 2020-02
    ip代理软件的功能是什么

    代理ip的出现,让用户能够享受到一个更加安全便捷的上网环境,通过使用换ip软件,大家能够轻松的解决很多跟ip有关的难题。

  • 21 2020-07
    换ip发帖要注意什么

    贴吧是个比较大的平台,用户比较多,所发的信息容易被收录,获得好的排名,所以一直都是网络营销人员的重要的平台。想在贴吧引流,肯定是要多宣传自身品牌,留有联系方式或者是网址的

  • 22 2020-04
    我们为什么需要代理ip

    当我们用爬获取信息时,因为获取的信息较多,所以需要用代理IP来解决IP数量的限制。此外,随着互联网的普及代理IP在我们的生活中十分常见,我们的互联网生活时时需要。代理IP还可以在共

  • 10 2019-07
    更改IP地址找哪个工具好?

    更改IP地址找哪个工具好?推荐机灵代理,很多人都在用,能够换国内大部分城市的IP地址,适合做数据采集,或者网络营销等等一些人员使用的。

  • 02 2019-10
    代理IP网络开源爬虫代码分享

    想要获得海量数据的入口,爬虫技术必不可少。过去由于代理IP的缺乏,爬虫工作的展开较为艰难以及所需要耗费的时间较多,但是自从代理IP得到了使用,爬虫变得轻松了许多,也顺势促进了

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部