您的位置:首页 > 新闻资讯 >文章内容
python爬虫遇到301、302状态码怎么回事?
来源:互联网 作者:admin 时间:2019-04-01 16:57:48

  每个网站的反爬虫机制不一样,而且网站也是有变化的,因此爬虫在爬取的过程中是经常会遇到问题的,今天讲下关于爬虫遇到的301、302的问题。


  这些状态码出现时,很大程度的影响到我们的爬虫速度和信息的准确性,那么如何去处理呢?


python爬虫遇到301、302状态码怎么回事?


  这些状态码的意思以及应对方法:


  302:请求到的资源在一个不同的URL处临时保存。


  处理方式:重定向到临时的URL。


  301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源。


  处理方式:重定向到分配的URL。


  300:该状态码不被HTTP/1.0的应用程序直接使用,只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。


  处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃。


  针对不同的模块给出不同的解决方案:


  在使用python爬虫的过程中难免会遇到很多301,302的问题。


  使用requests模块爬虫


  使用requests模块遇到301和302问题时,


  如果是用requests,那就在参数里面关闭重定向。


  >>> r = requests.get('http://github.com', allow_redirects=False)


  allow_redirects=False#设置这个属性为False则是不允许重定向,反之可以重定向


  如果使用的scrapy,那就在在设置里添加禁止重定向。


  REDIRECT_ENABLED


  REDIRECT_MAX_TIMES


  使用scrapy模块进行爬虫的时候遇到301很302问题。


python爬虫遇到301、302状态码怎么回事?


  这是在yield里面加上dont_filter=True,解决了这个问题,dont_filter的意思是,如果已经爬取过得url,也就是没有出现问题的url,自然而然出现问题的url将会再次被传递,这样也就解决了重定向问题。


  只要找到问题,便能对症下药,不然也是干着急,也解决不了。网站的反爬虫比较多,不仅是遇到这些问题,还有学会处理IP限制,验证码问题,动态加载等等。


相关文章内容简介
推荐阅读
  • 10 2019-12
    服务器怎么识别真实ip?

    服务器怎么识别真实ip?许多使用代理ip​的用户都是为了能够隐藏自己真实ip,避免被其他服务器所追踪和监控,想要知道代理ip是怎么避免被发现我们就要先知道服务器是怎么识别真实ip,知己

  • 29 2020-07
    爬虫请选择高匿代理ip

    透明代理,匿名代理,高匿代理,是我们在选择代理IP的时候经常会遇到的不同代理匿名方式。按照字面意思,这三种分别代表了不同的IP隐匿程度,根据我们不同的使用场景与目的去选择。

  • 17 2020-07
    使用分布式爬虫采集

    由于互联网的普及,在我国用户数量逐渐上涨,现阶段互联网已变成推动在我国经济社会发展的关键力量。用户量和使用量的增加,也使互联网时时刻刻都汇入大量数据信息,如何把这些数据采

  • 22 2019-06
    代理IP刷点击可以赚钱吗?

    代理IP刷点击可以赚钱吗?很多朋友都知道现在网上有很多网站可以通过点击量来取得收益。这种原理和网页刷排名是差不多的,每次使用代理IP再操作网页重新点击就可以了。下面就来教大家

  • 10 2020-02
    代理IP可以注册很多帐号

    代理IP就是换IP的软件,主要应用在网络注册、投票、抢购等网络工作方面。很多用过的用户都知道,代理IP是非常好用的工具。

  • 24 2019-05
    爬虫爬取要设置代理IP

    爬虫爬取要设置代理IP,这是必须的事情,不然突破不了IP限制,自然也就爬取不了了。或者爬一下就停一下,或者控制爬取的频率,不过这些都不是长久之计。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部