您的位置:首页 > 新闻资讯 >文章内容
Python爬虫设置代理IP使用
来源:互联网 作者:admin 时间:2019-11-28 10:52:08

  Python爬虫为什么要使用代理IP?Python爬虫又要怎么完成设置代理IP?今天,机灵代理围绕着这两个问题,来给大家进行全面的介绍,希望能够解答到大家的疑问。

Python爬虫设置代理IP使用

  为什么设置代理IP?


  我们在使用Python爬虫爬取一个网站时,通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,这样便不会出现因为频繁访问而导致禁止访问的现象。


  我们在学习Python爬虫的时候,也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封。所以我们需要使用代理IP。


  代理的获取有很多方式,网上有很多免费的可以去爬取一些试试,但是免费的代理使用起来也是很吃力的。还有就是现在网上有很多的代理供应商,可以在网上寻找下,然后找家靠谱的使用。毕竟网络太大了,代理供应商肯定也是参差不齐的,所以找到合适的代理还是需要花点时间的。如果大家需要代理IP推荐,机灵代理的IP质量非常靠谱。


  下面看看具体代码的使用:


  #! -*- encoding:utf-8 -*-


  import requests


  import random


  # 要访问的目标页面


  targetUrl = "http://httpbin.org/ip"


  # 要访问的目标HTTPS页面


  # targetUrl = "https://httpbin.org/ip"


  # 代理服务器


  proxyHost = "t.16yun.cn"


  proxyPort = "31111"


  # 代理隧道验证信息


  proxyUser = "username"


  proxyPass = "password"


  proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {


  "host" : proxyHost,


  "port" : proxyPort,


  "user" : proxyUser,


  "pass" : proxyPass,


  }


  # 设置 http和https访问都是用HTTP代理


  proxies = {


  "http" : proxyMeta,


  "https" : proxyMeta,


  }


  # 设置IP切换头


  tunnel = random.randint(1,10000)


  headers = {"Proxy-Tunnel": str(tunnel)}


  resp = requests.get(targetUrl, proxies=proxies, headers=headers)


  print resp.status_code


  print resp.text


  以上就是Python爬虫设置代理IP的操作了,大家如果在爬虫时需要用到代理IP,代码直接复制然后修改为自己的代理IP即可。


相关文章内容简介
推荐阅读
  • 01 2019-04
    python爬虫遇到301、302状态码怎么回事?

    每个网站的反爬虫机制不一样,而且网站也是有变化的,因此爬虫在爬取的过程中是经常会遇到问题的,今天讲下关于爬虫遇到的301、302的问题。

  • 27 2020-05
    代理IP不仅仅解决网络限制

    代理IP不仅仅解决网络限制,很多人都知道使用代理IP可以解决网络的限制问题,例如注册帐号、访问外国网站、软件等。这是代理IP的主要用途,但其实还有很多用途供我们使用。

  • 08 2019-10
    如何正确选用代理IP类型?

    透明代理IP、匿名代理IP、高匿名代理IP、混淆代理IP,这几种类型的代理相信大家都有基础的了解,不同的代理方式能够使用在不同的场景当中,那么我们要怎么去选择代理IP的类型呢?

  • 12 2019-09
    代理IP教你爬虫实现前端页面渲染

    之前网站基本都是用后端渲染的,而随着技术的不断更新进步,像AJAX技术的普及等,开始用前端渲染的页面开始变多了。下面机灵代理IP为大家讲讲有关前端渲染的操作。

  • 28 2019-10
    平时可以怎么利用代理IP?

    代理IP在我们的日常生活中也能够用到吗?当然可以了,如果你不知道我们平时可以怎么利用代理IP,可以看看下面的推荐。

  • 03 2020-01
    动态ip​上网有什么好处吗?

    动态ip​上网有什么好处吗?我们在连接上网时,需要进行选择“静态”、“动态”、“拨号”这几种中的其中一种方式来上网,它们都有什么区别呢?各有哪些优缺点,选择哪种方式上网好?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部