您的位置:首页 > 新闻资讯 >文章内容
代理IP在Python中如何使用?
来源:互联网 作者:admin 时间:2019-03-22 17:22:52

  上文刚刚讲到对于代理IP资源的获取方法,如果选择使用代理精灵,这效果还是不错的,可以先进行测试使用的。那么代理IP在Python中如何使用的呢?


代理IP在Python中如何使用?


  我们使用的库不一样,使用代理IP的方法也是不一样的,比如request调用代理IP:


  1.导入urllib的request,然后我们调用ProxyHandler,它可以接收代理IP的参数。


  from urllib import request


  px=request.ProxyHandler()


  2.把IP地址以字典的形式放入其中,这个IP地址是我胡编的,切勿当真,只是用来举例。设置键为http,当然有些是https的。


  st.ProxyHandler({'http':'66.66.66.66:88888'})


  3.用build_opener()来构建一个opener对象


  opener=request.build_opener(px)


  4.调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open(),这里就相当于我们自己重写。


  req=request.Request('网址')


  res=opener.open(req)


  with open('a.html','wb') as f:


  f.write(res.read())


  以上便是Python中request调用代理IP的方法,如果我们在使用代理IP时遇到错误,比如提示目标计算机积极拒绝,这就说明可能是代理IP无效,或者端口号错误,这就需要使用有效的IP才行哦。


  我们都知道,网络爬虫能够在大数据里起到重要的作用就是因为用爬虫抓取网页信息便捷、高效、迅速。但是,也不得不小心IP地址受限制。很简单的一个道理,比如说我们自己有一个网站,有很多恶意竞争的对象,专门用恶意程序爬虫抓取我们的数据,服务器的承载力总归是有限的,如果有程序一直超负荷抓取服务器信息,服务器很容易就崩溃了。因此,现在很多网站,为了保护网站的安全,都会设置防爬机制,拒绝网络爬虫。


  因此,为了能够继续访问,我们需要使用代理IP,当ip地址受限制时,可以换一个新的ip地址,保证爬虫的顺利进行。


相关文章内容简介
推荐阅读
  • 20 2019-03
    动态ip代理解决不了抓取问题,哪里出问题了?

    网络爬虫配上动态IP代理,基本上都能顺利的抓取到信息,因为使用了动态IP代理就可以解决频率限制的问题,可以一直进行数据的抓取工作。但有时候,即使使用了动态IP代理,还是出问题了,

  • 23 2019-05
    手机如何添加代理IP使用

    手机如何添加代理IP使用?很多朋友问手机能不能设置代理IP,手机怎么设置代理IP?手机当然是可以设置代理IP来使用的,不同型号的手机设置方法不同,但基本都差不多,这里以安卓手机为例

  • 15 2020-06
    HTTP代理怎么选择使用

    HTTP代理在人们工作生活中的出现以及应用越来越频繁,很多普通人也开始接触到HTTP代理,但是在HTTP代理的选择和应用上可能有些方面还不是很明白,因此在这里对一些大家可能经常接触到的名

  • 20 2019-05
    最常见IP限制用代理IP就行了吗?

    随着互联网的日益普及,互联网用户的数量不断增加,对主要网站的访问次数也在增加。特别是,许多任务网站或注册网站都增加了访问权限,点击次数等,以防止恶意注册。最常见的限制是IP

  • 22 2019-04
    长期可用的代理IP怎么这么难找?

    长期可用的代理IP怎么这么难找?是的,使用代理IP的人越来越多了,而优质的代理IP商家并不多。随现在游戏行业越来越为人们所认可,游戏工作室也相继伴随而生,同时一些问题也困扰着很多

  • 17 2020-01
    网赚也能用代理ip?

    目前网赚行业谋利的方式太多,搜索赚钱、任务赚钱、介绍赚钱、调查赚钱、游戏赚钱等等皆应运而生,在这网络销售背后,必须要有一些辅助优化工具才能发挥至强大。各网站流量点击率都必

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部