您的位置:首页 > 新闻资讯 >文章内容
爬虫用Requests设置代理IP的方法
来源:互联网 作者:admin 时间:2019-03-21 17:48:24

  使用python中的包请求网站时,需要设置代理IP使用,否则无法正常获取到信息,那么爬虫用Requests设置代理IP的方法是怎样的?


  在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个IP,一种是使用付费的IP代理,免费的IP往往效果不好,那么可以搭建IP代理池,但对新手来说搞一个IP代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费IP,几块钱买个几小时动态IP,多数情况下都足够爬一个网站了。


  这里推荐一个付费代理--代理精灵,最近使用了一下,效果非常不错,所以没有必要为了省一点钱,而费劲地去搞IP代理池。


  首次使用的话,可以选择购买一个小时试用下,点击生成代理信息作为凭证加入到代码中。


  将信息复制到官方提供的Requests代码中,运行来查看一下代理IP的效果:


爬虫用Requests设置代理IP的方法


  可以看到每次请求都会使用不同的IP,是不是很简单?比搞IP代理池省事多了。


爬虫用Requests设置代理IP的方法


  如果一定要使用免费代理IP,可以是可以的,使用到的资源:


  1.获取免费代理的网站


  2.获取当前访问的IP地址


  我们通过访问网站,获取当前访问使用的IP地址,来验证我们的代理是否成功


  实现代码:


爬虫用Requests设置代理IP的方法


  上文主要是介绍使用python中的requests包请求网站,设置代理IP的方法,仅供参考。如果爬虫项目不大、追求稳定且不差钱的话,建议直接上付费代理,比如找代理精灵的。


相关文章内容简介
推荐阅读
  • 21 2019-05
    用IP代理可以逃过IP限制吗?

    用IP代理可以逃过IP限制吗?从理论上来说,是可以的,因为使用了IP代理之后,我们的IP地址就被改变了,这样使用代理IP去访问时,对方的服务器记录的IP访问次数就不多了。这就是为什么用IP

  • 17 2019-04
    做外链,用换IP软件换IP,账户还会被封吗?

    做外链,用换IP软件换IP,账户还会被封吗?虽然说做外链的比重降低,但是效果还是存在的,很多网站还是照做外链的,其效果也相当的不错。不过做外链,并没有那么的简单,因为有限制,

  • 11 2019-05
    付费代理IP如何使用?

    付费代理IP如何使用?相对来说,肯定是付费代理IP自然是质量更好的,不然谁会那么傻,花钱来使用?

  • 08 2019-11
    使用HTTP代理的途径

    互联网虽然是互联,但是网站还是会有一定的限制的,比如网站就会对爬虫进行约束。因为如果大量的爬虫都聚集在一个网站,这对网站的服务器流量的损耗是非常大的。

  • 24 2019-04
    代理IP灵活解决IP限制问题

    代理IP灵活解决IP限制问题,在网络中但凡是遇到IP限制的问题,都是可以找代理IP的,如本来好好爬着网页IP被封了,没事,用代理IP换个IP地址又可以继续爬了。

  • 20 2019-05
    https更安全为何还用http代理

    https更安全为何还用http代理?作为网络上出现频率最高的http协议,是Internet上使用最多的文本协议。即使今天有很多形式的代理ip,对于用户来说,http代理ip也是一直需要的。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部