您的位置:首页 > 新闻资讯 >文章内容
抓取安卓APP信息出现错误,是代理IP的问题吗?
来源:互联网 作者:admin 时间:2019-03-20 16:21:00

  有时候在抓取APP信息时,无缘无故就出现错误了,但用其他手机测试又没有问题?这到底是什么原因导致的错误?会不会是使用代理IP的问题?我们分析一下:


  问题:公司的安卓app部分接口使用抓包工具时,如Charles。返回400错误。后端使用nginx服务,php语言。


  分析:


  安卓不使用抓包工具,可以正常请求接口数据;nginx同时对android、ios提供服务,ios正常;安卓只有使用代理工具,才会出现400。


  有此可见,问题出在代理工具上。为什么ios使用同一个代理工具没有问题?


  百度、google说由于语法格式有误,服务器无法理解此请求。不作修改,客户程序就无法重复此请求。又有文章说,httpcookie值太大,http头部信息错误等。


  然后按照网上的方法修改了请求数据和nginx缓存配置,nginx依旧无情的返回400,网上的解决方案基本上都试过了,依旧没有解决问题。


  将接口的Url放在firefox里访问,可以正常请求。那会不会是代理工具做转发时修改了http请求的信息?


  web代理工具的原理:一般的代理工具是将本地客户端的请求先发送给代理,然后由代理向服务器发送请求,代理接收到服务器回复后,将其再转发给客户端。


  这么来看,很有可能是代理工具在做http转发时,修改了请求信息。


  代理工具拿到客户端的请求后,会做url拆分:


抓取安卓APP信息出现错误,是代理IP的问题吗?


  拆分后,观察到path对应的是空,也就是说此url没有文件路径,但是这个Url在firefox可以访问。


  然后又拿这个链接放在firefox里,发现firefox自动把地址改了。在域名后,?问号前加了/


  然后修改了代理工具中path的值path:/


  执行下repeat重发一次请求,返回200,发送成功。


  问题原因:android请求时,域名后面没有跟上目录部分,所以代理工具解析时path是空,转发请求时,当时也是空。浏览器能自动在域名后面补充/,所以使用浏览器访问没有问题。


  因此这并不是代理IP的问题,不过若是代理IP质量不过关,也不好用的,特别是遇到IP失效,或者匿名度不够时,不能成功获取到信息。建议找个好用的代理IP,如代理精灵,毕竟磨刀不误砍柴工。


相关文章内容简介
推荐阅读
  • 23 2020-05
    什么是动态代理ip

    在区分什么是动态代理IP之前,首先我们要弄清楚,什么是代理IP。就是你在你的浏览器设置选项中(IE/chrome),手动输入你的代理ip地址。然后用浏览器去搜索,比如说访问百度,在百度搜索“

  • 09 2019-12
    网络推广要选择好的代理IP

    如果你是网络营销人员,那么对于代理IP可能比较了解,因为现在的推广活动,无论是人气还是热度的增加,都要用代理IP来帮我们进行刷。

  • 27 2019-03
    IP隐藏的功能是怎样设定的?

    现在生活中很多网站难免会遇到因为网络限制而不能够访问的情况,那么我们怎样才能够设置一定的功能,让这些具有限制的IP重新获得允许呢?其实这都是IP隐藏功能的原因,主要大家通过代

  • 19 2019-06
    抓取数据时IP地址没有伪装好

    抓取数据时IP地址没有伪装好,这是很容易引起IP被封的,如果你的IP地址被封之后,就不能继续访问该网站了,那要等到多久这IP地址才会解封呢?这就难说,也许24小时,或者几天,几个月,

  • 19 2019-03
    为什么爬虫使用http代理ip还访问失败了

    在获取大量的信息时,他们都说http代理ip非常好用,但是为什么爬虫使用http代理ip还访问失败了?http代理IP不能用来爬虫https,反之应该也是一样的,这就是为什么使用http代理ip失败的原因。

  • 18 2019-09
    代理IP爬虫资讯:Python 2将停止更新

    对于常用代理IP来进行爬虫的工作者来说,Python 2实在是太熟悉不过了。但是你知道这款编程语言即将要停止更新、维护了吗?官方的不再运营又会不会对使用带来什么影响?下面,机灵代理为大家

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部