您的位置:首页 > 新闻资讯 >文章内容
怎么在Requests中设置代理ip
来源:互联网 作者:admin 时间:2019-06-19 11:48:19

  怎么在Requests中设置代理ip?因为现在很多网站都有很强的反爬虫措施,如果不想办法进行突破,这就无法顺利抓取信息。其实对于采取了比较强的反爬措施网站来说,要想顺利爬取网站数据,设置随机User-Agent和代理ip是非常有效的两个方法。本文介绍怎么在Requests中设置代理ip。


  本文的目标测试网页选择下面这个URL,请求该网页可以返回当前的ip地址:


  http://icanhazip.com


  下面,我们就先来说说怎么在Requests中设置代理ip,首先,先来看一下不使用代理ip的情况:


怎么在Requests中设置代理ip


  运行上面的程序,会返回我们电脑本机的ip,可以通过百度查询ip地址对比一下。


怎么在Requests中设置代理ip

怎么在Requests中设置代理ip


  然后,我们测试一下使用代理ip后的情况:


  常见的代理包括HTTP代理和SOCKS5代理,前者可以找一些免费代理ip进行测试,由于我电脑上使用的是Shadowsocks,所以就介绍一下SOCKS5代理的设置。


  首先,电脑上要安装有Shadowsocks


  启动该软件后默认会在1080端口下创建SOCKS5代理服务,代理为:127.0.0.1:1080,然后我们在Requests中使用该代理,方法很简单只需要添加一项proxies参数即可:


怎么在Requests中设置代理ip


  这里,proxies参数是字典类型,键名http表示协议类型,键值socks5://127.0.0.1:1080表示代理。


  proxies添加了http和https两个代理,这样写是因为有些网页采用http协议,有的则是采用https协议,为了在这两类网页上都能顺利使用代理,所以一般都同时写上,当然,如果确定了某网页的请求类型,可以只写一种,比如这里我们请求的url使用的是http协议,那么使用http代理就可以,random函数用来随机选择一个代理,我们来看一下结果:


怎么在Requests中设置代理ip


  可以看到,这里随机选择了http协议的代理后,返回的ip就是我真实的ip代理地址,成功代理后就可以爬一些墙外的网页了。


  延伸一下,假如随机选择的是https代理,那么返回的ip结果还一样么?我们尝试重复运行一下上面的程序:


怎么在Requests中设置代理ip


  可以看到这次使用了https代理,返回的ip却是本机的真实ip,也就是说代理没有起作用。


  进一步地,我们将url改为https协议:https://icanhazip.com,然后再尝试分别用http和https代理请求,查看一下结果:


怎么在Requests中设置代理ip


  可以看到,两种请求的结果和之前的刚好相反了,由于url采用了https协议,则起作用的是https代理,而http代理则不起作用了,所以显示的是本机ip。


  因此,可以得到这样的一个结论:


  HTTP代理,只代理HTTP网站,对于HTTPS的网站不起作用,也就是说,用的是本机ip。HTTPS代理则同理。


相关文章内容简介
推荐阅读
  • 17 2019-04
    找个代理IP资源,了解这几点避免被忽悠

    用户对代理IP的需求量越来越大,代理IP服务供应商也越来越多,在面对更多的选择时,也意味着选择一家靠谱的代理IP服务商更加不容易。那么如何选择一家靠谱的代理IP服务商呢?

  • 01 2019-07
    动态IP和静态IP能一起用么?

    动态IP和静态IP能一起用么?不管是单独使用动态IP还是静态IP,都是有缺点的,想要避免这些缺点,能否一起使用动态IP和静态IP呢?

  • 23 2019-04
    动态代理ip适用于哪些情景?

    动态代理ip适用于哪些情景?大家是否使用过动态代理ip呢?如果没有使用过的话,可以看看机灵代理对这个概念的理解。

  • 10 2020-03
    电脑如何修改ip地址

    处在局域网中的计算机可能会遇到被网管限制带宽、限制浏览等情况,这些操作通常都是针对ip地址实现的,想要摆脱限制就需要更改ip地址,那么如何修更改ip地址呢?

  • 29 2019-05
    换IP使用代理IP会比较好些

    在做网络的一些工作时,有时候不能频繁的去更换ip,也不能多账号使用同一个IP,或者只需要每个账号注册的时候保持IP不重复,这样比较麻烦。因为我们手动切换IP地址这些控制不了,还是换I

  • 04 2020-02
    代理IP是爬虫中必不可少的

    我们在爬虫的时候,经常会出现爬虫正常运行,也在正常抓取数据,但可能下一秒就出现错误。这时候如果再打开网页查看,可能就会出现IP访问频繁的提示。出现这种情况,就是网站采取了反

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部