您的位置:首页 > 新闻资讯 >文章内容
python爬虫遇到301、302状态码怎么回事?
来源:互联网 作者:admin 时间:2019-04-01 16:57:48

  每个网站的反爬虫机制不一样,而且网站也是有变化的,因此爬虫在爬取的过程中是经常会遇到问题的,今天讲下关于爬虫遇到的301、302的问题。


  这些状态码出现时,很大程度的影响到我们的爬虫速度和信息的准确性,那么如何去处理呢?


python爬虫遇到301、302状态码怎么回事?


  这些状态码的意思以及应对方法:


  302:请求到的资源在一个不同的URL处临时保存。


  处理方式:重定向到临时的URL。


  301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源。


  处理方式:重定向到分配的URL。


  300:该状态码不被HTTP/1.0的应用程序直接使用,只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。


  处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃。


  针对不同的模块给出不同的解决方案:


  在使用python爬虫的过程中难免会遇到很多301,302的问题。


  使用requests模块爬虫


  使用requests模块遇到301和302问题时,


  如果是用requests,那就在参数里面关闭重定向。


  >>> r = requests.get('http://github.com', allow_redirects=False)


  allow_redirects=False#设置这个属性为False则是不允许重定向,反之可以重定向


  如果使用的scrapy,那就在在设置里添加禁止重定向。


  REDIRECT_ENABLED


  REDIRECT_MAX_TIMES


  使用scrapy模块进行爬虫的时候遇到301很302问题。


python爬虫遇到301、302状态码怎么回事?


  这是在yield里面加上dont_filter=True,解决了这个问题,dont_filter的意思是,如果已经爬取过得url,也就是没有出现问题的url,自然而然出现问题的url将会再次被传递,这样也就解决了重定向问题。


  只要找到问题,便能对症下药,不然也是干着急,也解决不了。网站的反爬虫比较多,不仅是遇到这些问题,还有学会处理IP限制,验证码问题,动态加载等等。


相关文章内容简介
推荐阅读
  • 23 2019-03
    国内IP代理能否满足python爬虫需求的IP量?

    python爬虫遍地,但是大部分都被拦在各类平台外,能成功获取到信息的不过二三成,那么这些python爬虫是如何成功获取到信息的呢?

  • 19 2019-03
    使用代理IP辅助数据的挖掘效果

    互联网中的信息非常多,为了从数据海中挖掘到有用的信息,很多企业都选择使用爬虫进行数据的采集,并加以分析,找到有价值的资料。在这个当中,势必是会遇到问题的,对于有些拦截技术

  • 14 2019-06
    高质量高匿名的代理ip是上上之选

    如果要使用的代理ip的话,高质量高匿名的代理ip是上上之选,使用之后的辅助效果会更加的好。

  • 25 2019-04
    高质量HTTP代理供应商有哪些?

    高质量HTTP代理供应商有哪些?既然要使用到HTTP代理,也想找个质量好的,不然使用起来的效果也不行。就国内而言,哪家HTTP代理供应商的质量最好呢?哪家的HTTP代理最新?

  • 08 2019-05
    免费IP代理安全隐患多

    免费IP代理安全隐患多,凡是免费的东西,大家都要考虑下为什么会免费给你使用,总是要你付出点什么的,或许你自己并没有发现而已,比如你的数据,你的信息,或者带点病毒之类的。

  • 19 2019-04
    代理IP可以更改本地连接互联网的IP地址

    代理IP可以更改本地连接互联网的IP地址,这有什么用呢?对于网络营销推广和搜索引擎优化的朋友来说,数据捕获和模拟访问都是必要的任务。这两种方法都需要大量的知识产权资源支持。许

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961