您的位置:首页 > 新闻资讯 >文章内容
java爬虫是怎么使用代理采集数据的
来源:互联网 作者:admin 时间:2019-03-01 15:36:09

  每当我们要爬数据之前,都需要准备好代理,不然都无法很好的完成任务,毕竟现在技术的进步,各个网站都自己的反爬虫机制,总得花点时间,花点成本才能突破这些限制的。今天跟大家去看看java爬虫是怎么使用代理采集数据的


  设置代理(Proxy)可以有两种方式:


  1.通过java.net.Proxy类


  这种方式是实例化一个Proxy类提供代理服务器的信息,如端口和地址。


  Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(host, port));


  URLConnection conn = url.openConnection(proxy);


  使用代理的方式是在打开Http连接的时候同时传递一个Proxy参数。如果需要验证信息的话我们可以添加一个Http头参数来实现。


java爬虫是怎么使用代理采集数据的


  其中的Base64.encode(user:password)是指把用户名和密码用冒号连接起来之后使用Base64编码后的值作为值的一部分。


  通过这种方式只影响特定的Http连接,但是需要对代码进行修改。这种方式下是否可以使用Authenticator还未做验证。


  2.通过设置系统属性的方式


  可以使用其中的http.proxyHost,http.proxyPort这两个属性,分别设置代理服务器地址和代理端口。


java爬虫是怎么使用代理采集数据的


  替换上面的代理服务器地址或IP地址,以及相应的端口为真实端口,Http连接就可以工作了。需要注意的是如果你设置了这些属性,那么所有的Http请求都会通过代理服务器。


  这些属性是JVM级别的,设置了以后对所有的同类请求都有效。


  如果你的代理服务器不需要验证,那到此就结束了。但一般都是需要验证的。但是你要是看了上面Java支持的属性列表,你就会发现那里面并没有期望中的


  http.proxyUserName=username


  http.proxyPassword=password


  这两个属性。 这时就需要java.net.Authenticator类来完成一般的Http验证。


  但是java.net.Authenticator这个类却是个抽象类,我们要使用还需要实例化一下子自己的类。如下


java爬虫是怎么使用代理采集数据的


java爬虫是怎么使用代理采集数据的


  我们需要覆盖java.net.Authenticator类的getPasswordAuthentication()方法,并返回一个PasswordAuthentication实例。要使他起作用,还需要设置


  Authenticator.setDefault(new BasicAuthenticator(userName, password));


  这样就提供了基于Http Basic的验证,接着就可以顺畅的使用需要验证的代理了。


  以上就是关于java爬虫是怎么使用代理采集数据的方法,仅供参考。对于代理的使用,大家可以选择代理精灵,这是目前市场上非常不错的代理IP供应商,IP高质量,高匿名。


相关文章内容简介
推荐阅读
  • 11 2019-10
    用机灵代理的IP怎么开展SEO优化项目?

    代理IP也能用于SEO优化?这两个是怎么能够有联系的呢?网站想要排名跟权重提升,网站的流量是比较关键的。那么如果我们的网站流量很差,收录情况也不理想,那么我们优化人员就可以考虑合

  • 02 2019-10
    什么是大数据批处理架构?

    数据营销,获得数据是开展营销活动的前提。数据获取的渠道主要是以通过使用代理IP开展爬虫工作来完成,而当企业获得数据之后,数据的分析是接下来的关键。面对大数据的分析,我们需要

  • 17 2019-05
    代理ip主要是方便了大家

    其实代理ip主要是方便了大家,比如突破IP限制顺利获取信息,或者隐藏IP地址等等。说到代理ip资源出现的原因,我们就要从3个方面来分析了。

  • 30 2019-05
    爬虫工程师用代理IP应对反爬虫机制

    爬虫工程师用代理IP应对反爬虫机制,这是比较常见的。反爬虫机制对于爬虫工程师来说并不陌生,可以说爬虫与反爬虫是相爱相杀的,没有爬虫就不存在反爬虫,没有了反爬虫,爬虫也不用发

  • 01 2019-07
    手游多开需要换IP地址登陆

    手游多开需要换IP地址登陆,现在手游比较火,手游的玩家越来越多了,因此一些游戏工作室也会选择进入手游赚钱,手游工作室行业将进入规模产业化,资源大佬赚钱时代。

  • 07 2020-07
    高质量代理IP的一些特点

    对于用户来说,代理IP的质量可谓是举足轻重,只有拥有了高质量的代理IP,它们才能保证自己的工作效率。因此,选择正确的IP代理商,使用高质量的代理IP池对他们来说十分重要。市面上总有

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部