您的位置:首页 > 新闻资讯 >文章内容
怎么在Requests中设置代理ip
来源:互联网 作者:admin 时间:2019-06-19 11:48:19

  怎么在Requests中设置代理ip?因为现在很多网站都有很强的反爬虫措施,如果不想办法进行突破,这就无法顺利抓取信息。其实对于采取了比较强的反爬措施网站来说,要想顺利爬取网站数据,设置随机User-Agent和代理ip是非常有效的两个方法。本文介绍怎么在Requests中设置代理ip。


  本文的目标测试网页选择下面这个URL,请求该网页可以返回当前的ip地址:


  http://icanhazip.com


  下面,我们就先来说说怎么在Requests中设置代理ip,首先,先来看一下不使用代理ip的情况:


怎么在Requests中设置代理ip


  运行上面的程序,会返回我们电脑本机的ip,可以通过百度查询ip地址对比一下。


怎么在Requests中设置代理ip

怎么在Requests中设置代理ip


  然后,我们测试一下使用代理ip后的情况:


  常见的代理包括HTTP代理和SOCKS5代理,前者可以找一些免费代理ip进行测试,由于我电脑上使用的是Shadowsocks,所以就介绍一下SOCKS5代理的设置。


  首先,电脑上要安装有Shadowsocks


  启动该软件后默认会在1080端口下创建SOCKS5代理服务,代理为:127.0.0.1:1080,然后我们在Requests中使用该代理,方法很简单只需要添加一项proxies参数即可:


怎么在Requests中设置代理ip


  这里,proxies参数是字典类型,键名http表示协议类型,键值socks5://127.0.0.1:1080表示代理。


  proxies添加了http和https两个代理,这样写是因为有些网页采用http协议,有的则是采用https协议,为了在这两类网页上都能顺利使用代理,所以一般都同时写上,当然,如果确定了某网页的请求类型,可以只写一种,比如这里我们请求的url使用的是http协议,那么使用http代理就可以,random函数用来随机选择一个代理,我们来看一下结果:


怎么在Requests中设置代理ip


  可以看到,这里随机选择了http协议的代理后,返回的ip就是我真实的ip代理地址,成功代理后就可以爬一些墙外的网页了。


  延伸一下,假如随机选择的是https代理,那么返回的ip结果还一样么?我们尝试重复运行一下上面的程序:


怎么在Requests中设置代理ip


  可以看到这次使用了https代理,返回的ip却是本机的真实ip,也就是说代理没有起作用。


  进一步地,我们将url改为https协议:https://icanhazip.com,然后再尝试分别用http和https代理请求,查看一下结果:


怎么在Requests中设置代理ip


  可以看到,两种请求的结果和之前的刚好相反了,由于url采用了https协议,则起作用的是https代理,而http代理则不起作用了,所以显示的是本机ip。


  因此,可以得到这样的一个结论:


  HTTP代理,只代理HTTP网站,对于HTTPS的网站不起作用,也就是说,用的是本机ip。HTTPS代理则同理。


相关文章内容简介
推荐阅读
  • 26 2019-08
    代理IP对SEO优化有什么好处?

    SEO搜索引擎优化的过程中也会使用到代理IP,你知道IP代理能够在SEO中起到什么作用吗?下面让我们一起来看看吧!

  • 05 2019-05
    代理IP延迟太高怎么办?

    代理IP延迟太高怎么办?使用代理IP,除了换IP之外,还可以降低延迟的,但是代理本身的延迟都高了,这怎么办?

  • 03 2019-06
    数据采集光有代理IP还不够

    数据采集光有代理IP还不够,还需要突破其他的反爬虫,例如伪造User-Agent和伪造cookies等等。本文就如何解决这个问题总结出一些应对措施,这些措施可以单独使用,也可以同时使用,效果更好

  • 07 2020-07
    高质量代理IP的一些特点

    对于用户来说,代理IP的质量可谓是举足轻重,只有拥有了高质量的代理IP,它们才能保证自己的工作效率。因此,选择正确的IP代理商,使用高质量的代理IP池对他们来说十分重要。市面上总有

  • 15 2019-06
    识别IP代理的匿名程度难吗?

    识别IP代理的匿名程度难吗?我们已经知道了,IP代理分为透明代理、普通匿名代理和高匿名代理,平常使用哪种IP代理会好些?怎么知道我们使用的是哪种IP代理呢?

  • 19 2020-10
    哪些行业需要用到大量动态IP

    IP分为动态IP和静态IP两种,静态IP就是运营商给了固定IP,每次上网使用的都是这个IP。而动态IP是在上网时自动获取的IP,很方便,不需要设置。现在很多行业需要通过网络来实现,所以也离不

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部