您的位置:首页 > 新闻资讯 >文章内容
抓取安卓APP信息出现错误,是代理IP的问题吗?
来源:互联网 作者:admin 时间:2019-03-20 16:21:00

  有时候在抓取APP信息时,无缘无故就出现错误了,但用其他手机测试又没有问题?这到底是什么原因导致的错误?会不会是使用代理IP的问题?我们分析一下:


  问题:公司的安卓app部分接口使用抓包工具时,如Charles。返回400错误。后端使用nginx服务,php语言。


  分析:


  安卓不使用抓包工具,可以正常请求接口数据;nginx同时对android、ios提供服务,ios正常;安卓只有使用代理工具,才会出现400。


  有此可见,问题出在代理工具上。为什么ios使用同一个代理工具没有问题?


  百度、google说由于语法格式有误,服务器无法理解此请求。不作修改,客户程序就无法重复此请求。又有文章说,httpcookie值太大,http头部信息错误等。


  然后按照网上的方法修改了请求数据和nginx缓存配置,nginx依旧无情的返回400,网上的解决方案基本上都试过了,依旧没有解决问题。


  将接口的Url放在firefox里访问,可以正常请求。那会不会是代理工具做转发时修改了http请求的信息?


  web代理工具的原理:一般的代理工具是将本地客户端的请求先发送给代理,然后由代理向服务器发送请求,代理接收到服务器回复后,将其再转发给客户端。


  这么来看,很有可能是代理工具在做http转发时,修改了请求信息。


  代理工具拿到客户端的请求后,会做url拆分:


抓取安卓APP信息出现错误,是代理IP的问题吗?


  拆分后,观察到path对应的是空,也就是说此url没有文件路径,但是这个Url在firefox可以访问。


  然后又拿这个链接放在firefox里,发现firefox自动把地址改了。在域名后,?问号前加了/


  然后修改了代理工具中path的值path:/


  执行下repeat重发一次请求,返回200,发送成功。


  问题原因:android请求时,域名后面没有跟上目录部分,所以代理工具解析时path是空,转发请求时,当时也是空。浏览器能自动在域名后面补充/,所以使用浏览器访问没有问题。


  因此这并不是代理IP的问题,不过若是代理IP质量不过关,也不好用的,特别是遇到IP失效,或者匿名度不够时,不能成功获取到信息。建议找个好用的代理IP,如代理精灵,毕竟磨刀不误砍柴工。


相关文章内容简介
推荐阅读
  • 09 2019-05
    换IP地址发帖还是被删怎么回事?

    换IP地址发帖还是被删怎么回事?都说频繁发帖容易被删,但是我换IP了啊,怎么还是被删了呢?到底是换的IP不管用,还是其他原因呢?

  • 23 2019-05
    爬虫爬取动态网页需要http代理吗

    爬虫爬取动态网页需要http代理吗?在如今人们对网页加载速度的要求越来越高的要求下,异步加载成为了许多大的站点的首选。比如各大电商平台、知识型网站、社交平台等,都广泛采用了异

  • 18 2020-02
    如何理解http代理的含义

    代理IP是什么?上网的时候,我们为什么会需要用到代理IP?是每一个用户都会有换IP的需求吗?当然并不是每一个人都一定要用代理IP才能够上网,今天我们来认识http代理的意义。

  • 02 2020-03
    应用IP代理的益处

    在互联网时代下,人们不管在生活中還是工作方面都不可或缺互联网。互联网工作人员对IP代理的要求也愈来愈大,像网络宣传推广、数据收集抓取、游戏评测、数据统计分析、百度发帖这些,

  • 28 2020-09
    什么是http代理ip服务

    http代理ip主要是浏览器的访问网页,用另一种方法说就是网络信息的中转站,是用户和客户端要求另一个服务器之间的一个中介,而且在代理服务器中与防火墙的服务器存在于同一台机器当中,

  • 03 2020-05
    为什么代理IP需要授权

    许多用户在购买代理IP后,代理IP平台一般会有一个步骤需要用户完成,那就是授权。可能是通过账号密码验证授权,也可能是通过绑定IP白名单授权,或者两种方式选其一。这个步骤往往让很多

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部