您的位置:首页 > 新闻资讯 >文章内容
反反爬虫使用代理IP时,如何进行IP切换
来源:互联网 作者:admin 时间:2019-03-19 10:43:03

  反反爬虫需要使用代理IP已经成为当下比较透明的方法了,即使新手初入门也被普及要使用代理IP,这确实是个非常实用,也是必要的工具。不过还是有很多人不知道,反反爬虫使用代理IP时如何进行IP切换的,下面小编为大家介绍几个切换IP的方法,仅供参考。


  1.用户密码认证


  通过用户名和密码的形式进行身份认证,该认证信息最终会转换为Proxy-Authorization协议头跟随请求一起发出,同时支持通过Authorization协议头进行隧道身份验证。如用户认证错误,系统会返回401Unauthorized或407ProxyAuthenticationRequired。


  举个例子:在代码中使用HTTP隧道时,如果代码的HTTP请求方法不支持以用户名/密码的形式设置身份认证信息,则需要手动为每个HTTP请求增加Proxy-Authorization协议头,其值为Basic。其中为“用户名”和“密码”通过:拼接后,再经由BASE64编码得到的字符串。正确设置后,发出的请求都将包含如下格式的HTTP协议头信息:Proxy-Authorization:BasicMTZZVU4xMjM6MTIzNDMyMw==


  温馨提醒:建议使用Proxy-Authorization进行用户密码认证。如果使用Authorization,该HTTP头信息会随请求发送到目标网站。访问HTTPS网站时,请使用库自带的代理认证方式,手动设置的Proxy-Authorization协议头,在访问HTTPS网站的情况下,会被代理直接转发到目标网站,导致匿名失效。


反反爬虫使用代理IP时,如何进行IP切换


  2.TCP请求切换IP(KeepAlive)


  每个TCP请求自动切换,是指爬虫代理为爬虫程序发出的每个TCP请求随机提供一个代理IP,该模式适合需要多个session使用相同IP的连续性访问。


  举个例子:需要登录,获取数据两个请求在一个IP下,只需保证该组请求在一个TCP会话下,该组请求在代理有效期内使用相同的代理IP。


  3.自主切换IP


  该模式适合一些需要登陆、Cookie缓存处理等爬虫需要精确控制IP切换时机的业务。爬虫程序可以通过设置HTTP头Proxy-Tunnel:随机数,当随机数相同时,访问目标网站的代理IP相同。


  举个例子:需要登录,获取数据两个请求在一个IP下,只需对这组请求设置相同Proxy-Tunnel,举个例子:Proxy-Tunnel:12345,该组请求在代理有效期内使用相同的代理IP。


  温馨提醒:


  1.使用相同IP访问HTTPS目标网站


  使用Connection:keep-alive和Proxy-Connection:keep-alive方式访问目标网站,代理会确保在一个会话中的所有请求都通过一个IP到达目标网站;设置相同Proxy-Tunnel,有些库封装比较高层次,请务必确认向代理发送了该HTTP头。


  2.同一时间不同请求组可以设置不同Proxy-Tunnel:随机数,并发完成数据爬取。


  可能大家会疑问,这几种方法,我们到底使用哪种比较好,对于这个问题,大家可以根据实际的方式选择的,若是需要自动切换IP,就找软件模式的,同理使用。在选择代理IP时,不妨考虑下代理精灵的,目前最受欢迎的一家代理IP商,为什么那么受欢迎的,自然时因为价格、质量、数量等方面有优势的。


相关文章内容简介
推荐阅读
  • 07 2019-12
    使用代理IP出现报错如何解决?

    用代理IP爬虫,是大家在网络中比较常用的手段,但是网络采集也会面临着很多的问题。我们需要具体问题具体分析解决。

  • 08 2019-06
    代理ip池维护的效果不好怎么办

    代理ip池维护的效果不好怎么办?使用代理ip的方法有很多,代理ip的用途也多,代理ip的来源也多,但是如果自己抓取网络的ip进行搭建ip池,这维护效果不怎么好,这是怎么回事呢?

  • 29 2019-05
    换IP使用代理IP会比较好些

    在做网络的一些工作时,有时候不能频繁的去更换ip,也不能多账号使用同一个IP,或者只需要每个账号注册的时候保持IP不重复,这样比较麻烦。因为我们手动切换IP地址这些控制不了,还是换I

  • 15 2019-03
    企业使用哪个IP代理比较好?

    普通人是比较少会使用到IP代理的,通常都是一些企业使用,那么企业使用哪个IP代理比较好?企业使用IP代理,主要是因为在使用代理ip采集数据的时候,经常会碰到有反采集策略规则的网站.

  • 20 2019-03
    抓取安卓APP信息出现错误,是代理IP的问题吗?

    有时候在抓取APP信息时,无缘无故就出现错误了,但用其他手机测试又没有问题?这到底是什么原因导致的错误?会不会是使用代理IP的问题?我们分析一下:

  • 10 2019-12
    上网ip被封怎么办?

    上网ip被封怎么办?在上网的过程中,IP被封相信很多用户都遇到过,这是因为发布了不当信息或者访问频繁,被目标网站检测出,所以IP被封。那么,访问网站IP被封该怎么办?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部