您的位置:首页 > 新闻资讯 >文章内容
反反爬虫使用代理IP时,如何进行IP切换
来源:互联网 作者:admin 时间:2019-03-19 10:43:03

  反反爬虫需要使用代理IP已经成为当下比较透明的方法了,即使新手初入门也被普及要使用代理IP,这确实是个非常实用,也是必要的工具。不过还是有很多人不知道,反反爬虫使用代理IP时如何进行IP切换的,下面小编为大家介绍几个切换IP的方法,仅供参考。


  1.用户密码认证


  通过用户名和密码的形式进行身份认证,该认证信息最终会转换为Proxy-Authorization协议头跟随请求一起发出,同时支持通过Authorization协议头进行隧道身份验证。如用户认证错误,系统会返回401Unauthorized或407ProxyAuthenticationRequired。


  举个例子:在代码中使用HTTP隧道时,如果代码的HTTP请求方法不支持以用户名/密码的形式设置身份认证信息,则需要手动为每个HTTP请求增加Proxy-Authorization协议头,其值为Basic。其中为“用户名”和“密码”通过:拼接后,再经由BASE64编码得到的字符串。正确设置后,发出的请求都将包含如下格式的HTTP协议头信息:Proxy-Authorization:BasicMTZZVU4xMjM6MTIzNDMyMw==


  温馨提醒:建议使用Proxy-Authorization进行用户密码认证。如果使用Authorization,该HTTP头信息会随请求发送到目标网站。访问HTTPS网站时,请使用库自带的代理认证方式,手动设置的Proxy-Authorization协议头,在访问HTTPS网站的情况下,会被代理直接转发到目标网站,导致匿名失效。


反反爬虫使用代理IP时,如何进行IP切换


  2.TCP请求切换IP(KeepAlive)


  每个TCP请求自动切换,是指爬虫代理为爬虫程序发出的每个TCP请求随机提供一个代理IP,该模式适合需要多个session使用相同IP的连续性访问。


  举个例子:需要登录,获取数据两个请求在一个IP下,只需保证该组请求在一个TCP会话下,该组请求在代理有效期内使用相同的代理IP。


  3.自主切换IP


  该模式适合一些需要登陆、Cookie缓存处理等爬虫需要精确控制IP切换时机的业务。爬虫程序可以通过设置HTTP头Proxy-Tunnel:随机数,当随机数相同时,访问目标网站的代理IP相同。


  举个例子:需要登录,获取数据两个请求在一个IP下,只需对这组请求设置相同Proxy-Tunnel,举个例子:Proxy-Tunnel:12345,该组请求在代理有效期内使用相同的代理IP。


  温馨提醒:


  1.使用相同IP访问HTTPS目标网站


  使用Connection:keep-alive和Proxy-Connection:keep-alive方式访问目标网站,代理会确保在一个会话中的所有请求都通过一个IP到达目标网站;设置相同Proxy-Tunnel,有些库封装比较高层次,请务必确认向代理发送了该HTTP头。


  2.同一时间不同请求组可以设置不同Proxy-Tunnel:随机数,并发完成数据爬取。


  可能大家会疑问,这几种方法,我们到底使用哪种比较好,对于这个问题,大家可以根据实际的方式选择的,若是需要自动切换IP,就找软件模式的,同理使用。在选择代理IP时,不妨考虑下代理精灵的,目前最受欢迎的一家代理IP商,为什么那么受欢迎的,自然时因为价格、质量、数量等方面有优势的。


相关文章内容简介
推荐阅读
  • 01 2019-04
    忍受不了免费代理的低效率了,有没有代理IP介绍?

    网站面对海量的爬虫大军,唯有设置各种限制,把浩浩荡荡的爬虫们拦截下来,虽然并不能拦住所有的爬虫,那也是能拦住七八成的。这对于爬虫来说并不是个好消息,哪些爬虫是如何绕过这些

  • 05 2019-07
    有代理IP可以高频访问目标吗?

    有代理IP可以高频访问目标吗?在没有使用代理ip之前,这肯定是不行的,平常我们就连点击快一些就会被提示访问的速度过快的,但如果使用了代理IP,是不是结果不一样呢?

  • 16 2019-05
    怎么找高质量的代理ip资源?

    怎么找高质量的代理ip资源?代理IP资源并不少,大家缺的是高质量的IP资源,目前IP资源还是很稀缺的, ipv4早就分光了,ipv6尚未全面普及,因此很多IP资源都是重复使用的,很多共享IP资源,质

  • 05 2019-09
    手机怎么用动态IP代理?

    手机是不是也能够用代理IP更换IP?现在很多网络操作都转移到手机端上了,手机换IP的需求也变得多。那么,手机切换不同地区的IP是可行的吗?

  • 19 2019-09
    代理IP Python教程:播放音频与录音

    Python是一款非常强大的编程软件,我们能够通过编写程序代码去实现不同的操作。不过也有一些玩法是工具书上没法教你的,比如一些大神自己研究出来的趣味玩法,机灵代理今天给大家带来如

  • 02 2019-08
    想解决IP被封这种窘境,要用http代理

    想解决IP被封这种窘境,要用http代理!IP被封,处理的方法就是换IP,这是最省时间的方法,尤其是大数据时代来临,爬虫工作者的春天也随之来了。然而在我们进行爬虫业务时,却经常受到目

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961