您的位置:首页 > 新闻资讯 >文章内容
爬虫用Requests设置代理IP的方法
来源:互联网 作者:admin 时间:2019-03-21 17:48:24

  使用python中的包请求网站时,需要设置代理IP使用,否则无法正常获取到信息,那么爬虫用Requests设置代理IP的方法是怎样的?


  在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个IP,一种是使用付费的IP代理,免费的IP往往效果不好,那么可以搭建IP代理池,但对新手来说搞一个IP代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费IP,几块钱买个几小时动态IP,多数情况下都足够爬一个网站了。


  这里推荐一个付费代理--代理精灵,最近使用了一下,效果非常不错,所以没有必要为了省一点钱,而费劲地去搞IP代理池。


  首次使用的话,可以选择购买一个小时试用下,点击生成代理信息作为凭证加入到代码中。


  将信息复制到官方提供的Requests代码中,运行来查看一下代理IP的效果:


爬虫用Requests设置代理IP的方法


  可以看到每次请求都会使用不同的IP,是不是很简单?比搞IP代理池省事多了。


爬虫用Requests设置代理IP的方法


  如果一定要使用免费代理IP,可以是可以的,使用到的资源:


  1.获取免费代理的网站


  2.获取当前访问的IP地址


  我们通过访问网站,获取当前访问使用的IP地址,来验证我们的代理是否成功


  实现代码:


爬虫用Requests设置代理IP的方法


  上文主要是介绍使用python中的requests包请求网站,设置代理IP的方法,仅供参考。如果爬虫项目不大、追求稳定且不差钱的话,建议直接上付费代理,比如找代理精灵的。


相关文章内容简介
推荐阅读
  • 23 2019-05
    http代理租用哪家好?

    http代理租用哪家好?现在网络时代,很多时候我们都需要使用到http代理的,如果选择租用,选择哪家的http代理比较好呢?使用http代理的时候,需要选择合适的服务商。但是网络上的服务商非

  • 29 2019-04
    高效代理IP哪里找呢?

    高效代理IP哪里找呢?需要使用到代理IP的工作有点多,基本都是需要更换IP地址的,不过想更换个IP也不是那么容易的的,这对代理IP的质量有所要求。我们举个例子来看看。

  • 27 2019-02
    使用代理IP能够安全刷到足够多的票吗?

    对于投票,大家都有接触的,一般人投票也只是会投给身边比较熟悉的人,即使是拉票,这拉的票数也是有限的,除非你的人缘或者推广比较好,否则是难以拉到大量的票数。于是有些人就想要

  • 03 2019-07
    哪里有免费的IP代理?

    哪里有免费的IP代理?目前市场上IP代理的提供商如雨后春笋般,一夜之间冒出了诸多。商家提供的产品和服务差不多,但大多数提供商都需要收费,哪里有免费的IP代理呢?

  • 25 2019-02
    【新手入门】Python爬虫爬取步骤分析

    网络爬虫的基本理念这里就不讲了,如果大家还没有清楚的,可以先去查一下。本文主要讲Python爬虫爬取步骤分析,很多人都分享了自己爬取的代码,其实新手是看不懂的,一篇的代码看下来,

  • 06 2019-05
    改本地ip地址的几种方法

    改本地ip地址的几种方法,大家知道哪几种呢?使用代理IP更换IP地址是比较快的方法,而且能更换的IP也多,还有路由器更换IP地址,这是最常见的方法之一,我们一起去看看:

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961