您的位置:首页 > 新闻资讯 >文章内容
爬虫用Requests设置代理IP的方法
来源:互联网 作者:admin 时间:2019-03-21 17:48:24

  使用python中的包请求网站时,需要设置代理IP使用,否则无法正常获取到信息,那么爬虫用Requests设置代理IP的方法是怎样的?


  在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个IP,一种是使用付费的IP代理,免费的IP往往效果不好,那么可以搭建IP代理池,但对新手来说搞一个IP代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费IP,几块钱买个几小时动态IP,多数情况下都足够爬一个网站了。


  这里推荐一个付费代理--代理精灵,最近使用了一下,效果非常不错,所以没有必要为了省一点钱,而费劲地去搞IP代理池。


  首次使用的话,可以选择购买一个小时试用下,点击生成代理信息作为凭证加入到代码中。


  将信息复制到官方提供的Requests代码中,运行来查看一下代理IP的效果:


爬虫用Requests设置代理IP的方法


  可以看到每次请求都会使用不同的IP,是不是很简单?比搞IP代理池省事多了。


爬虫用Requests设置代理IP的方法


  如果一定要使用免费代理IP,可以是可以的,使用到的资源:


  1.获取免费代理的网站


  2.获取当前访问的IP地址


  我们通过访问网站,获取当前访问使用的IP地址,来验证我们的代理是否成功


  实现代码:


爬虫用Requests设置代理IP的方法


  上文主要是介绍使用python中的requests包请求网站,设置代理IP的方法,仅供参考。如果爬虫项目不大、追求稳定且不差钱的话,建议直接上付费代理,比如找代理精灵的。


相关文章内容简介
推荐阅读
  • 28 2019-04
    动态IP代理能快速增加阅读量

    动态IP代理能快速增加阅读量,有些人可能会比较拒绝,其实互联网中的大部分浏览量都是爬虫贡献的,只是你不知道摆了。

  • 24 2019-10
    代理IP的使用板块

    对代理IP不太熟悉的用户,在购买了服务之后,可能会对操作使用比较陌生,也不知道各种名词是什么意思。下面机灵代理,给大家带来代理IP使用的操作板块,让大家熟悉一下。

  • 17 2019-03
    防止游戏封号的几种方法,使用代理IP效果更好

    游戏封号对于玩家来说,这是非常严重的问题,如果被封号了,这些辛苦都白费了,关键还没有任何的收获,因此想要玩好游戏不被封号,就要多注意一些封号的信息,避免犯了这些问题而导致

  • 26 2019-03
    干货代理的使用方式

    现在代理服务器承载着各大网站上的信息转接功能,而干货代理服务器具体如何使用,还是需要大家提前获取有用信息的,只有这样才能够保证自己在网站运营过程中高效平稳,如果自己一时差

  • 25 2019-04
    动态IP代理选用什么套餐使用好?

    很多人会疑惑,动态IP代理选用什么套餐使用好?到底是按照有效时间选,还是按照提取IP数量选呢?关于这些问题,小编就机灵代理为大家介绍下,其实很多动态IP代理的商家都针对用户的需求

  • 18 2019-10
    盘点最直接有效的换IP方法

    在工作中、在生活中遇到有需要换IP地址的情况,我们可以有哪些方法去完成呢?而且不同的场景,需要用到的方法也不一样,比如手机端的更换自然会跟电脑端的更换操作不一样。下面我们看看

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部