您的位置:首页 > 新闻资讯 >文章内容
怎么设置代理IP爬取抖音数据
来源:互联网 作者:admin 时间:2019-08-12 10:27:38

    怎么设置代理IP爬取抖音数据?现在抖音视频还是很火的,刷小视频已经成为很多人的娱乐方式了,各种营销也都出来了,如果想要抓取抖音数据,怎么抓取呢?


    一、fiddler配置


    在tools中的options中,按照图中勾选后点击Actions


怎么设置代理IP爬取抖音数据


    配置远程链接:选择允许监控远程链接,端口可以随意设置,只要别重复就行,默认8888。然后:重启fiddler!!!这样配置才能生效。


    二、安卓模拟器/手机配置


    首先查看本机的IP:在cmd中输入ipconfig,记住这个IP


    手机确保和电脑在同一局域网下。


    手机配置:配置已连接的WiFi,代理选择手动,然后输入上图ip端口号为8888


    模拟器配置:设置中长按已连接wifi,代理选择手动,然后输入上图ip端口号为8888


怎么设置代理IP爬取抖音数据


    代理IP设置好后,在浏览器中输入你设置的ip:端口,例如10.10.16.194:8888,就会打开fiddler的页面。然后点击fiddlerRoot certificate安装证书,要不手机会认为环境不安全。证书名称随便设,可能还需要设置一个锁屏密码。


    接下来就可以在fiddler中抓到手机/模拟器软件的包了。


    三、抖音抓包


    打开抖音,然后观察fiddler中所有的包


怎么设置代理IP爬取抖音数据


    其中有个包,包类型为json(json就是网页返回的数据,具体百度),主机地址如图,包大小一般不小,这个就是视频包。


怎么设置代理IP爬取抖音数据


    点击这个json包,在fidder右侧,点击解码,我们将视频包的json解码


    解码后:点击aweme_list,其中每个大括号代表一个视频,这个和bilibili弹幕或者快手一样,每次加载一点出来,等你看完预加载的,再重新加载一些。


怎么设置代理IP爬取抖音数据


    Json是一个字典,我们的视频链接在:aweme_list中,每个视频下的video下的play_addr下的url_list中,一共有6个url,是完全一样的视频,可能是为了应付不同环境,但是一般第3或4个链接的视频不容易出问题,复制链接,浏览器中粘贴就能看到视频了。


相关文章内容简介
推荐阅读
  • 13 2019-02
    几种获取Ajax加载信息的方法

    网站为了应对各种爬虫采用了许多的反爬虫策略,即使不能完全杜绝爬虫进行爬取,也能大大降低爬虫的采集速度,比如说网站采用Ajax加载数据,但这些信息爬虫又不能不进行采集,那么爬虫

  • 26 2019-07
    HTTP代理IP质量太差怎么找个好的?

    HTTP代理IP质量太差怎么找个好的?网络爬虫在如今的互联网领域有着特别的意义,比如我们耳熟能详的大数据,它的发展就离不开网络爬虫。然而网络爬虫也是有天敌的,那就是目标网站的反爬

  • 21 2019-10
    小红书用代理IP刷量

    小红书经过修整后,又重新上线了。作为一个流量比较多的种草平台,小红书是品牌打动年轻一代的一个重要渠道。那么,我们能够如何让账号快速涨粉呢?

  • 30 2019-09
    代理IP的API接口是什么意思?

    做过爬虫项目的,相比都对代理IP比较熟悉了。但是不知道大家是否清楚代理IP中的API接口是什么意思,为什么说用这个接口能够帮助我们提高爬虫的工作效率?下面我们一起来分析一下。

  • 25 2020-09
    获取代理IP的两种方法

    获取代理IP和代理IP的常用方法,代理IP可以帮助我们更换电脑的IP,有了代理IP后就可以解决IP限制问题了。很多人不知道代理IP怎么找,下面为大家进行简单的介绍。

  • 31 2019-10
    好用的代理IP怎么找?

    代理服务商现在能够在网络上找到很多,而且只是通过看他们的官网好像都差不多,不能够分辨出哪个是优质代理。机灵代理下面来为大家选择代理IP服务的时候,提供几点建议。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部