您的位置:首页 > 新闻资讯 >文章内容
爬虫用Requests设置代理IP的方法
来源:互联网 作者:admin 时间:2019-03-21 17:48:24

  使用python中的包请求网站时,需要设置代理IP使用,否则无法正常获取到信息,那么爬虫用Requests设置代理IP的方法是怎样的?


  在爬虫中往往需要使用多个代理,那有如何构造呢,这里主要两种方法,一种是使用免费的多个IP,一种是使用付费的IP代理,免费的IP往往效果不好,那么可以搭建IP代理池,但对新手来说搞一个IP代理池成本太高,如果只是个人平时玩玩爬虫,完全可以考虑付费IP,几块钱买个几小时动态IP,多数情况下都足够爬一个网站了。


  这里推荐一个付费代理--代理精灵,最近使用了一下,效果非常不错,所以没有必要为了省一点钱,而费劲地去搞IP代理池。


  首次使用的话,可以选择购买一个小时试用下,点击生成代理信息作为凭证加入到代码中。


  将信息复制到官方提供的Requests代码中,运行来查看一下代理IP的效果:


爬虫用Requests设置代理IP的方法


  可以看到每次请求都会使用不同的IP,是不是很简单?比搞IP代理池省事多了。


爬虫用Requests设置代理IP的方法


  如果一定要使用免费代理IP,可以是可以的,使用到的资源:


  1.获取免费代理的网站


  2.获取当前访问的IP地址


  我们通过访问网站,获取当前访问使用的IP地址,来验证我们的代理是否成功


  实现代码:


爬虫用Requests设置代理IP的方法


  上文主要是介绍使用python中的requests包请求网站,设置代理IP的方法,仅供参考。如果爬虫项目不大、追求稳定且不差钱的话,建议直接上付费代理,比如找代理精灵的。


相关文章内容简介
推荐阅读
  • 10 2019-04
    爬取网站的前期准备:网页分析、代理IP绕过反爬虫

    网络爬虫在爬取一个网站的信息之前,需要注意什么呢?通常需要进行网页的分析,还有反爬虫机制的研究,并准备好代理IP使用,可以找机灵代理的。

  • 21 2019-05
    游戏有延迟找代理IP加速

    游戏有延迟找代理IP加速,游戏一直都是有延迟的问题,有时候延迟高,会导致人物卡顿,掉线,丢包等等,这些代表什么意思呢?

  • 01 2019-04
    代理IP与网络代理有什么关系?

    初识代理IP时,很多人都以为代理IP也是代理服务器,能够起多种作用,不过这代理IP一般都是用作隐藏IP地址,切换IP,降低网络延迟这几个方面。但是代理服务器并不止几个作用。那么这代理IP

  • 18 2019-04
    互联网工作者都要使用代理IP吗?

    互联网工作者都要使用代理IP吗?代理IP使用的主要催化剂是媒体素材的使用,为什么这么说呢?很多互联网工作者,需要收集网络的信息,但是大量的收集,人工太慢了,使用代理IP之后,可以

  • 09 2019-05
    爬虫架构的模块和常用几个架构图

    爬虫架构的模块和常用几个架构图介绍!进行数据采集,是少不了爬虫的,采集不同的数据,其架构图也是不一致的,那么常用的爬虫架构图有哪些呢?我们一起去了解下。

  • 03 2019-06
    代理IP对于网站注册的作用

    代理IP对于网站注册的作用是怎样的,平常进行账号注册,也就是注册那么一两个,问题不大。但是如果需要多账号的使用,这就需要多注册账号了。不过很多时候,我们在某些网站进行注册的

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961