您的位置:首页 > 新闻资讯 >文章内容
基于requests模块的代理操作介绍
来源:互联网 作者:admin 时间:2019-11-29 10:50:13

  代理IP现在经常出现在互联网行业里面,已经成为了大数据时代不可获取的一员了。对于代理IP能够拿来做什么,很多人只是停留在换IP这一点上,其实代理IP的作用可多了。

基于requests模块的代理操作

  机灵代理介绍基于requests模块的代理操作:


  什么是代理?


  代理就是第三方代替本体处理相关事务。例如:生活中的代理:代购,中介,微商......


  代理的分类:


  正向代理:代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。


  反向代理:代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。


  爬虫中为什么需要使用代理?


  一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP,每隔一段时间换一个代理IP,就算IP被禁止,依然可以换个IP继续爬取。


  import requests


  import random


  if __name__ == "__main__":


  #不同浏览器的UA


  header_list = [


  # 遨游


  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


  # 火狐


  {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


  # 谷歌


  {


  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


  ]


  #不同的代理IP


  proxy_list = [


  {"http": "112.115.57.20:3128"},


  {'http': '121.41.171.223:3128'}


  ]


  #随机获取UA和代理IP


  header = random.choice(header_list)


  proxy = random.choice(proxy_list)


  url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'


  #参数3:设置代理


  response = requests.get(url=url,headers=header,proxies=proxy)


  response.encoding = 'utf-8'


  with open('daili.html', 'wb') as fp:


  fp.write(response.content)


  #切换成原来的IP


  requests.get(url, proxies={"http": ""})


  利用代理IP,我们能够在网络上完成数据采集、数据刷量、网络推广等工作,大大方便了我们的工作。


相关文章内容简介
推荐阅读
  • 17 2019-09
    代理IP池由什么组成?

    为了让爬虫能够顺利开展,通常都会需要有一个代理IP池去为爬虫工作做支撑,这样才能够保证爬虫能够顺利进行,不会轻易触发反爬虫。那么,怎么去搭建一个代理IP池,代理IP池又是由什么组

  • 25 2019-04
    代理服务器的匿名度怎么区分?

    代理服务器的匿名度怎么区分?有些人不清楚,其实代理服务器有匿名程度的分类,比如大家经常使用的高匿名,还有一些大家不知道的透明代理。但很多人也仅是知道这么一点,如果知道我们

  • 27 2019-03
    QQIP代理是怎样运营的?

    QQ上的IP代理是比较常见的一种软件,可以给你提供定时的切换,或者是挂上你的QQ号。别因为有很多的人并不了解这种QQIP代理应该怎样使用?下面就对这样的一个情况进行一个介绍,让你再了

  • 19 2019-08
    除了代理IP,还有哪些隐藏IP的方法?

    进入互联网+时代,大家对于个人隐私的保护越来越重视,利用代理IP隐藏个人IP已经不是什么新鲜事了。除了使用代理IP之外,还有什么方法也能做到隐藏IP呢?

  • 29 2019-08
    代理IP分享Python爬虫抓取歌曲方法

    现在的音乐播放器歌曲版权竞争非常激烈,有时想要听某首歌在这个播放器找不到,还得切换到另一个播放器,实在太麻烦。而且有些歌曲还要开VIP会员才能够听跟下载,这里机灵代理为大家带

  • 03 2020-05
    为什么代理IP需要授权

    许多用户在购买代理IP后,代理IP平台一般会有一个步骤需要用户完成,那就是授权。可能是通过账号密码验证授权,也可能是通过绑定IP白名单授权,或者两种方式选其一。这个步骤往往让很多

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部