您的位置:首页 > 新闻资讯 >文章内容
基于requests模块的代理操作介绍
来源:互联网 作者:admin 时间:2019-11-29 10:50:13

  代理IP现在经常出现在互联网行业里面,已经成为了大数据时代不可获取的一员了。对于代理IP能够拿来做什么,很多人只是停留在换IP这一点上,其实代理IP的作用可多了。

基于requests模块的代理操作

  机灵代理介绍基于requests模块的代理操作:


  什么是代理?


  代理就是第三方代替本体处理相关事务。例如:生活中的代理:代购,中介,微商......


  代理的分类:


  正向代理:代理客户端获取数据。正向代理是为了保护客户端防止被追究责任。


  反向代理:代理服务器提供数据。反向代理是为了保护服务器或负责负载均衡。


  爬虫中为什么需要使用代理?


  一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会会禁止这个IP的访问。所以我们需要设置一些代理IP,每隔一段时间换一个代理IP,就算IP被禁止,依然可以换个IP继续爬取。


  import requests


  import random


  if __name__ == "__main__":


  #不同浏览器的UA


  header_list = [


  # 遨游


  {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},


  # 火狐


  {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},


  # 谷歌


  {


  "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}


  ]


  #不同的代理IP


  proxy_list = [


  {"http": "112.115.57.20:3128"},


  {'http': '121.41.171.223:3128'}


  ]


  #随机获取UA和代理IP


  header = random.choice(header_list)


  proxy = random.choice(proxy_list)


  url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'


  #参数3:设置代理


  response = requests.get(url=url,headers=header,proxies=proxy)


  response.encoding = 'utf-8'


  with open('daili.html', 'wb') as fp:


  fp.write(response.content)


  #切换成原来的IP


  requests.get(url, proxies={"http": ""})


  利用代理IP,我们能够在网络上完成数据采集、数据刷量、网络推广等工作,大大方便了我们的工作。


相关文章内容简介
推荐阅读
  • 11 2019-04
    案例实战:用Python获取摄像头并实时控制人脸

    用Python获取摄像头并实时控制人脸的过程是如何实现的呢?我们来了解下实现的流程:从摄像头获取视频流,并转换为一帧一帧的图像,然后将图像信息传递给opencv这个工具库处理,返回灰度图

  • 15 2019-10
    http代理对网络工作者的帮助

    互联网时代,诞生了很多新兴的职业,像是之前没有的电商、微商等。现在,很多人都转行加入到这个领域里,如果想要在这方面实现更快获利,那么我们就需要使用一些工具来帮助,比如代理

  • 23 2019-04
    动态代理ip适用于哪些情景?

    动态代理ip适用于哪些情景?大家是否使用过动态代理ip呢?如果没有使用过的话,可以看看机灵代理对这个概念的理解。

  • 18 2019-06
    免费代理服务器为什么少人用

    免费代理服务器为什么少人用,现在很多人还是愿意租个代理服务器使用的,免费的不好吗?何必要浪费钱呢?

  • 17 2019-05
    https代理使用怎样?

    https代理使用怎样?机灵代理解决https代理使用困难问题,虽然https代理对用户来说是一个非常安全可靠的选择,但是因为如今国内提供https代理服务的团队非常少,导致很多用户即使想要使用http

  • 18 2019-06
    免费代理ip的致命缺点

    免费代理ip,可能大家多少都有使用过,但大家也知道天下没有白吃的午餐,不要钱的不能说是不好,但是肯定没有你想象中那么好就是了。所以大家对于免费代理ip也是心理有数的,用不用,

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部