您的位置:首页 > 新闻资讯 >文章内容
抓取安卓APP信息出现错误,是代理IP的问题吗?
来源:互联网 作者:admin 时间:2019-03-20 16:21:00

  有时候在抓取APP信息时,无缘无故就出现错误了,但用其他手机测试又没有问题?这到底是什么原因导致的错误?会不会是使用代理IP的问题?我们分析一下:


  问题:公司的安卓app部分接口使用抓包工具时,如Charles。返回400错误。后端使用nginx服务,php语言。


  分析:


  安卓不使用抓包工具,可以正常请求接口数据;nginx同时对android、ios提供服务,ios正常;安卓只有使用代理工具,才会出现400。


  有此可见,问题出在代理工具上。为什么ios使用同一个代理工具没有问题?


  百度、google说由于语法格式有误,服务器无法理解此请求。不作修改,客户程序就无法重复此请求。又有文章说,httpcookie值太大,http头部信息错误等。


  然后按照网上的方法修改了请求数据和nginx缓存配置,nginx依旧无情的返回400,网上的解决方案基本上都试过了,依旧没有解决问题。


  将接口的Url放在firefox里访问,可以正常请求。那会不会是代理工具做转发时修改了http请求的信息?


  web代理工具的原理:一般的代理工具是将本地客户端的请求先发送给代理,然后由代理向服务器发送请求,代理接收到服务器回复后,将其再转发给客户端。


  这么来看,很有可能是代理工具在做http转发时,修改了请求信息。


  代理工具拿到客户端的请求后,会做url拆分:


抓取安卓APP信息出现错误,是代理IP的问题吗?


  拆分后,观察到path对应的是空,也就是说此url没有文件路径,但是这个Url在firefox可以访问。


  然后又拿这个链接放在firefox里,发现firefox自动把地址改了。在域名后,?问号前加了/


  然后修改了代理工具中path的值path:/


  执行下repeat重发一次请求,返回200,发送成功。


  问题原因:android请求时,域名后面没有跟上目录部分,所以代理工具解析时path是空,转发请求时,当时也是空。浏览器能自动在域名后面补充/,所以使用浏览器访问没有问题。


  因此这并不是代理IP的问题,不过若是代理IP质量不过关,也不好用的,特别是遇到IP失效,或者匿名度不够时,不能成功获取到信息。建议找个好用的代理IP,如代理精灵,毕竟磨刀不误砍柴工。


相关文章内容简介
推荐阅读
  • 30 2020-01
    代理IP对自媒体有帮助吗?

    如今越来越多的人开始使用微博、今日头条等等各种自媒体平台,因此很多公司很多人都看到了这之中的商机和机会,并且借助自媒体平台来发展自己的生意,也因为自媒体的蓬勃发展,现在也

  • 18 2019-01
    python爬虫为什么一定要用代理

    如今大数据时代,python爬虫遍地走,但python爬虫也是有天敌的,那就是反爬虫,它限制了python爬虫。并且随着网络爬虫的日渐壮大,反爬虫也在不断进化,对于网站的反爬虫,又该如何突破呢?

  • 27 2019-11
    SOCKS代理IP使用介绍

    在机灵代理的网上,大家可以看到很多代理IP的相关信息,机灵代理有HTTP代理以及SOCKS代理给用户挑选,那么使用SOCKS代理IP,我们需要了解些什么呢?

  • 20 2019-11
    代理IP网络爬虫如何控制采集速度?

    大家知道在大数据时代,每天互联网上进行得最频繁的一个操作是什么吗?答案其实已经非常呼之欲出了,就是用代理IP进行网络爬虫抓取,这个动作每时每刻都在进行。

  • 15 2019-06
    识别IP代理的匿名程度难吗?

    识别IP代理的匿名程度难吗?我们已经知道了,IP代理分为透明代理、普通匿名代理和高匿名代理,平常使用哪种IP代理会好些?怎么知道我们使用的是哪种IP代理呢?

  • 26 2019-03
    简介免费网络代理的注册适合哪些人群?

    不管这些东西是否具有多大的价值,但是依靠着免费的两个字就会吸引不少人来关注,尤其是免费网络代理,虽然很多人会觉得免费的代理IP效率低,速度慢及不稳定,但是它使用的人群仍然庞

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部