您的位置:首页 > 新闻资讯 >文章内容
反反爬虫使用代理IP时,如何进行IP切换
来源:互联网 作者:admin 时间:2019-03-19 10:43:03

  反反爬虫需要使用代理IP已经成为当下比较透明的方法了,即使新手初入门也被普及要使用代理IP,这确实是个非常实用,也是必要的工具。不过还是有很多人不知道,反反爬虫使用代理IP时如何进行IP切换的,下面小编为大家介绍几个切换IP的方法,仅供参考。


  1.用户密码认证


  通过用户名和密码的形式进行身份认证,该认证信息最终会转换为Proxy-Authorization协议头跟随请求一起发出,同时支持通过Authorization协议头进行隧道身份验证。如用户认证错误,系统会返回401Unauthorized或407ProxyAuthenticationRequired。


  举个例子:在代码中使用HTTP隧道时,如果代码的HTTP请求方法不支持以用户名/密码的形式设置身份认证信息,则需要手动为每个HTTP请求增加Proxy-Authorization协议头,其值为Basic。其中为“用户名”和“密码”通过:拼接后,再经由BASE64编码得到的字符串。正确设置后,发出的请求都将包含如下格式的HTTP协议头信息:Proxy-Authorization:BasicMTZZVU4xMjM6MTIzNDMyMw==


  温馨提醒:建议使用Proxy-Authorization进行用户密码认证。如果使用Authorization,该HTTP头信息会随请求发送到目标网站。访问HTTPS网站时,请使用库自带的代理认证方式,手动设置的Proxy-Authorization协议头,在访问HTTPS网站的情况下,会被代理直接转发到目标网站,导致匿名失效。


反反爬虫使用代理IP时,如何进行IP切换


  2.TCP请求切换IP(KeepAlive)


  每个TCP请求自动切换,是指爬虫代理为爬虫程序发出的每个TCP请求随机提供一个代理IP,该模式适合需要多个session使用相同IP的连续性访问。


  举个例子:需要登录,获取数据两个请求在一个IP下,只需保证该组请求在一个TCP会话下,该组请求在代理有效期内使用相同的代理IP。


  3.自主切换IP


  该模式适合一些需要登陆、Cookie缓存处理等爬虫需要精确控制IP切换时机的业务。爬虫程序可以通过设置HTTP头Proxy-Tunnel:随机数,当随机数相同时,访问目标网站的代理IP相同。


  举个例子:需要登录,获取数据两个请求在一个IP下,只需对这组请求设置相同Proxy-Tunnel,举个例子:Proxy-Tunnel:12345,该组请求在代理有效期内使用相同的代理IP。


  温馨提醒:


  1.使用相同IP访问HTTPS目标网站


  使用Connection:keep-alive和Proxy-Connection:keep-alive方式访问目标网站,代理会确保在一个会话中的所有请求都通过一个IP到达目标网站;设置相同Proxy-Tunnel,有些库封装比较高层次,请务必确认向代理发送了该HTTP头。


  2.同一时间不同请求组可以设置不同Proxy-Tunnel:随机数,并发完成数据爬取。


  可能大家会疑问,这几种方法,我们到底使用哪种比较好,对于这个问题,大家可以根据实际的方式选择的,若是需要自动切换IP,就找软件模式的,同理使用。在选择代理IP时,不妨考虑下代理精灵的,目前最受欢迎的一家代理IP商,为什么那么受欢迎的,自然时因为价格、质量、数量等方面有优势的。


相关文章内容简介
推荐阅读
  • 19 2019-12
    我们应如何隐藏IP保护隐私?

    我们应如何隐藏IP保护隐私?互联网+时代,网络攻击事件的发生概率是越来越大了,不要以为自己只是普通用户,也没有什么“机密”可被窃取。你对个人信息可是也被不少不法分子虎视眈眈着

  • 28 2019-10
    代理IP的使用人群变广

    电商、营销人员等都需要扩大自己的客源,那么想要获得更多的客户,线上推广是必不可少的。可以通过社交平台来进行好友添加,进行营销活动。

  • 17 2019-05
    通过Java爬虫来获取代理IP

    通过Java爬虫来获取代理IP,这方法也不是很难,不过可能大家经常使用的是Python,使用Java比较少,不过不用担心,小编这就为大家介绍下通过Java爬虫来获取代理IP的方法。

  • 09 2020-06
    国内切换ip软件哪个好

    随着大数据的快速发展代理ip应时代的发展而产生,现在也是广大的工作者所使用得工作帮手,慢慢的大家对代理ip更加的熟悉,代理ip可用于网络爬虫,营销推广等,代理ip的存在是十分有必要

  • 07 2019-05
    IE内设代理IP上网

    IE内设代理IP上网,这样可以更加顺利的访问一些网站,因为有些网站可能访问比较频繁之后会被限制,但如果在IE内设代理IP上网,就不必担心这个问题了。

  • 26 2019-08
    贴吧帖子频繁被删 用代理IP解决

    网络推广人员在进行相关的线上宣传时,各大贴吧论坛网站,如百度贴吧,是一个不错的宣传渠道。但是,这类平台会有相应的限制,频繁发帖或是发布违禁词就会被删。如果你的帖子经常出现

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部