您的位置:首页 > 新闻资讯 >文章内容
Python爬虫设置代理IP使用
来源:互联网 作者:admin 时间:2019-11-28 10:52:08

  Python爬虫为什么要使用代理IP?Python爬虫又要怎么完成设置代理IP?今天,机灵代理围绕着这两个问题,来给大家进行全面的介绍,希望能够解答到大家的疑问。

Python爬虫设置代理IP使用

  为什么设置代理IP?


  我们在使用Python爬虫爬取一个网站时,通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,这样便不会出现因为频繁访问而导致禁止访问的现象。


  我们在学习Python爬虫的时候,也经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封。所以我们需要使用代理IP。


  代理的获取有很多方式,网上有很多免费的可以去爬取一些试试,但是免费的代理使用起来也是很吃力的。还有就是现在网上有很多的代理供应商,可以在网上寻找下,然后找家靠谱的使用。毕竟网络太大了,代理供应商肯定也是参差不齐的,所以找到合适的代理还是需要花点时间的。如果大家需要代理IP推荐,机灵代理的IP质量非常靠谱。


  下面看看具体代码的使用:


  #! -*- encoding:utf-8 -*-


  import requests


  import random


  # 要访问的目标页面


  targetUrl = "http://httpbin.org/ip"


  # 要访问的目标HTTPS页面


  # targetUrl = "https://httpbin.org/ip"


  # 代理服务器


  proxyHost = "t.16yun.cn"


  proxyPort = "31111"


  # 代理隧道验证信息


  proxyUser = "username"


  proxyPass = "password"


  proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {


  "host" : proxyHost,


  "port" : proxyPort,


  "user" : proxyUser,


  "pass" : proxyPass,


  }


  # 设置 http和https访问都是用HTTP代理


  proxies = {


  "http" : proxyMeta,


  "https" : proxyMeta,


  }


  # 设置IP切换头


  tunnel = random.randint(1,10000)


  headers = {"Proxy-Tunnel": str(tunnel)}


  resp = requests.get(targetUrl, proxies=proxies, headers=headers)


  print resp.status_code


  print resp.text


  以上就是Python爬虫设置代理IP的操作了,大家如果在爬虫时需要用到代理IP,代码直接复制然后修改为自己的代理IP即可。


相关文章内容简介
推荐阅读
  • 23 2020-04
    使用代理ip​时应该注意什么

    不管是代理ip还是http代理,它们的作用其实都是一样的,那就是更换自家电脑的ip地址,很多人觉得更换IP地址是一件很简单的事情,看起来的确很简单,无非就是在我们机灵代理软件上动动手

  • 17 2020-04
    寻找高质量代理ip很重要

    代理ip是现在网络上经常出现的高频词语,它的使用正在面向全部网络用户在推广开来。不过对于一些刚开始认识代理ip的用户,在线代理ip到底要怎么选择?这是每一个使用代理ip的用户都非常关

  • 19 2019-09
    代理IP介绍5种大数据分析方法

    大数据信息采取以及分析,现在广泛应用在不同的领域与行业,已经跟我们的生活、工作变得息息相关。使用代理IP采集完数据后,下一步就是要进行分析了。那么,如何决定信息是否有用,信

  • 02 2019-09
    构建一个你的爬虫代理IP池

    网站现在对于单个IP的访问频次都有严格的监控,特别是像一些大型网站,这样单个IP很容易被封。如果手上没有足够的IP,项目也无法完成,当我们在做某个项目或是爬虫的时,需要大量IP的话

  • 20 2019-11
    除代理IP外,还有这些网络代理方式

    你知道网络代理有哪几种方式吗?除了大家耳熟能详的代理IP之外,其实还有好几种网络代理方式,今天机灵代理分别为大家介绍这几种代理方式的区别。

  • 27 2019-05
    代理服务器共享网络

    代理服务器共享网络,这是代理服务器的其中一种作用,很多人可能不知道,但是实际中很多人都是不知不觉在使用共享网络的。

在线咨询
大客户经理
大客户经理
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部