您的位置:首页 > 新闻资讯 >文章内容
爬虫用Requests设置代理IP的方法
来源:互联网 作者:admin 时间:2019-03-21 17:48:24

  使用python中的包请求网站时,需要设置代理IP使用,否则无法正常获取到信息,那么爬虫用Requests设置代理IP的方法是怎样的?


  在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个IP,一种是使用付费的IP代理,免费的IP往往效果不好,那么可以搭建IP代理池,但对新手来说搞一个IP代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费IP,几块钱买个几小时动态IP,多数情况下都足够爬一个网站了。


  这里推荐一个付费代理--代理精灵,最近使用了一下,效果非常不错,所以没有必要为了省一点钱,而费劲地去搞IP代理池。


  首次使用的话,可以选择购买一个小时试用下,点击生成代理信息作为凭证加入到代码中。


  将信息复制到官方提供的Requests代码中,运行来查看一下代理IP的效果:


爬虫用Requests设置代理IP的方法


  可以看到每次请求都会使用不同的IP,是不是很简单?比搞IP代理池省事多了。


爬虫用Requests设置代理IP的方法


  如果一定要使用免费代理IP,可以是可以的,使用到的资源:


  1.获取免费代理的网站


  2.获取当前访问的IP地址


  我们通过访问网站,获取当前访问使用的IP地址,来验证我们的代理是否成功


  实现代码:


爬虫用Requests设置代理IP的方法


  上文主要是介绍使用python中的requests包请求网站,设置代理IP的方法,仅供参考。如果爬虫项目不大、追求稳定且不差钱的话,建议直接上付费代理,比如找代理精灵的。


相关文章内容简介
推荐阅读
  • 08 2020-01
    按那些方面选择代理ip​?

    按那些方面选择代理ip​?代理IP在如今越来越重要了,很多人都想着使用代理IP来进行各类活动,比如自学大数据或者兼职刷单等等,可是对于新手来说,市面上那么多的IP代理该选择哪种类型的

  • 28 2019-04
    爬虫借用代理IP获取到薪资信息

    爬虫借用代理IP获取到薪资信息,为什么要这么麻烦呢?这是因为这些数据,网站并不想随便给你爬取,但如果你想知道一个比较准的结果,那么收集大量信息再分析,这结果无疑是更加的准确

  • 23 2019-08
    用代理IP前 你需要了解的IP分类

    IP相当于你在网络上的“身份证”,通常一个IP代表一个用户,但自从代理IP出现,一个用户也能够批量使用多个IP,还能够按照不同地区进行切换,通过不同的匿名方式将自己的真实IP地址隐藏

  • 15 2019-11
    如何使用HTTP代理来爬虫?

    爬虫程序在抓取部分网站的时候是需要用到代理IP的,比如想要提升爬取速度,IP被禁,网站由于限制无法直接访问等。下面我们来看看如何使用HTTP代理IP。

  • 22 2019-02
    什么是HTTP代理

    大家对HTTP代理应该都非常熟悉,它在很多方面都有着极为广泛的应用。HTTP代理分为正向代理和反向代理两种,后者一般用于将防火墙后面的服务提供给用户访问或者进行负载均衡

  • 11 2019-12
    怎么更换电脑ip地址?

    怎么更换电脑ip地址?日常生活中,我们上网可能不想使用自己电脑的IP,又或者需要换IP申请某某的东西,甚至可以看看一些限制的网站,怎么办呢?下面教大家一种方法。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部