您的位置:首页 > 新闻资讯 >文章内容
怎么设置代理IP爬取抖音数据
来源:互联网 作者:admin 时间:2019-08-12 10:27:38

    怎么设置代理IP爬取抖音数据?现在抖音视频还是很火的,刷小视频已经成为很多人的娱乐方式了,各种营销也都出来了,如果想要抓取抖音数据,怎么抓取呢?


    一、fiddler配置


    在tools中的options中,按照图中勾选后点击Actions


怎么设置代理IP爬取抖音数据


    配置远程链接:选择允许监控远程链接,端口可以随意设置,只要别重复就行,默认8888。然后:重启fiddler!!!这样配置才能生效。


    二、安卓模拟器/手机配置


    首先查看本机的IP:在cmd中输入ipconfig,记住这个IP


    手机确保和电脑在同一局域网下。


    手机配置:配置已连接的WiFi,代理选择手动,然后输入上图ip端口号为8888


    模拟器配置:设置中长按已连接wifi,代理选择手动,然后输入上图ip端口号为8888


怎么设置代理IP爬取抖音数据


    代理IP设置好后,在浏览器中输入你设置的ip:端口,例如10.10.16.194:8888,就会打开fiddler的页面。然后点击fiddlerRoot certificate安装证书,要不手机会认为环境不安全。证书名称随便设,可能还需要设置一个锁屏密码。


    接下来就可以在fiddler中抓到手机/模拟器软件的包了。


    三、抖音抓包


    打开抖音,然后观察fiddler中所有的包


怎么设置代理IP爬取抖音数据


    其中有个包,包类型为json(json就是网页返回的数据,具体百度),主机地址如图,包大小一般不小,这个就是视频包。


怎么设置代理IP爬取抖音数据


    点击这个json包,在fidder右侧,点击解码,我们将视频包的json解码


    解码后:点击aweme_list,其中每个大括号代表一个视频,这个和bilibili弹幕或者快手一样,每次加载一点出来,等你看完预加载的,再重新加载一些。


怎么设置代理IP爬取抖音数据


    Json是一个字典,我们的视频链接在:aweme_list中,每个视频下的video下的play_addr下的url_list中,一共有6个url,是完全一样的视频,可能是为了应付不同环境,但是一般第3或4个链接的视频不容易出问题,复制链接,浏览器中粘贴就能看到视频了。


相关文章内容简介
推荐阅读
  • 04 2019-10
    2种对代理服务器防御的方式

    针对代理服务器,我们有防御的必要吗?有时我们也会用到代理IP,是用于营销、爬虫等方面,而如果有人是用于黑客攻击这方面,那就不可取了。所以提高网络保护意识还是很有必要,机灵代理

  • 04 2019-04
    使用IP代理玩游戏,能加速游戏并保护个人信息

    现在手机游戏这么流行,就连小学生都玩游戏了,可见玩游戏的人群非常广,我们玩游戏都要注意些什么呢?

  • 17 2020-04
    爬虫使用代理ip方式

    互联网在不断的发展,许多工作也逐渐开展线上操作,例如爬虫大数据等,相信很多网络工作者在爬虫的时候也用到不少代理ip了。那么,大家知道爬虫对代理ip的使用要关注什么呢?

  • 25 2020-03
    选择好用的国内代理ip很重要

    ip代理的话题似乎说来说去都无非关于质量、安全、价格、优势、使用等等,这些类似的分析,大家也看得不少。但是对于选择到一个好用的ip代理软件,还是有一定的度。

  • 26 2019-07
    代理IP能否解决采集信息被拒绝?

    代理IP能否解决采集信息被拒绝?在大数据飞速发展的今天,互联网早已深入人们生活的方方面面,周而复始的产生新数据。如今企业要发展,为保证自身市场竞争力,利用爬虫抓取互联网中的

  • 21 2019-09
    代理IP Python教程:下载王者荣耀皮肤

    《王者荣耀》这款游戏里面有很多的皮肤,每当有新皮肤上新,就会有大批的玩家来购买。如果不想氪金,那么就只好努力去积累皮肤碎片,才能够兑换想要的皮肤。不仅耗时长,而且兑换的皮

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部