您的位置:首页 > 新闻资讯 >文章内容
java爬虫是怎么使用代理采集数据的
来源:互联网 作者:admin 时间:2019-03-01 15:36:09

  每当我们要爬数据之前,都需要准备好代理,不然都无法很好的完成任务,毕竟现在技术的进步,各个网站都自己的反爬虫机制,总得花点时间,花点成本才能突破这些限制的。今天跟大家去看看java爬虫是怎么使用代理采集数据的


  设置代理(Proxy)可以有两种方式:


  1.通过java.net.Proxy类


  这种方式是实例化一个Proxy类提供代理服务器的信息,如端口和地址。


  Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(host, port));


  URLConnection conn = url.openConnection(proxy);


  使用代理的方式是在打开Http连接的时候同时传递一个Proxy参数。如果需要验证信息的话我们可以添加一个Http头参数来实现。


java爬虫是怎么使用代理采集数据的


  其中的Base64.encode(user:password)是指把用户名和密码用冒号连接起来之后使用Base64编码后的值作为值的一部分。


  通过这种方式只影响特定的Http连接,但是需要对代码进行修改。这种方式下是否可以使用Authenticator还未做验证。


  2.通过设置系统属性的方式


  可以使用其中的http.proxyHost,http.proxyPort这两个属性,分别设置代理服务器地址和代理端口。


java爬虫是怎么使用代理采集数据的


  替换上面的代理服务器地址或IP地址,以及相应的端口为真实端口,Http连接就可以工作了。需要注意的是如果你设置了这些属性,那么所有的Http请求都会通过代理服务器。


  这些属性是JVM级别的,设置了以后对所有的同类请求都有效。


  如果你的代理服务器不需要验证,那到此就结束了。但一般都是需要验证的。但是你要是看了上面Java支持的属性列表,你就会发现那里面并没有期望中的


  http.proxyUserName=username


  http.proxyPassword=password


  这两个属性。 这时就需要java.net.Authenticator类来完成一般的Http验证。


  但是java.net.Authenticator这个类却是个抽象类,我们要使用还需要实例化一下子自己的类。如下


java爬虫是怎么使用代理采集数据的


java爬虫是怎么使用代理采集数据的


  我们需要覆盖java.net.Authenticator类的getPasswordAuthentication()方法,并返回一个PasswordAuthentication实例。要使他起作用,还需要设置


  Authenticator.setDefault(new BasicAuthenticator(userName, password));


  这样就提供了基于Http Basic的验证,接着就可以顺畅的使用需要验证的代理了。


  以上就是关于java爬虫是怎么使用代理采集数据的方法,仅供参考。对于代理的使用,大家可以选择代理精灵,这是目前市场上非常不错的代理IP供应商,IP高质量,高匿名。


相关文章内容简介
推荐阅读
  • 17 2019-01
    爬虫使用的代理IP池怎么搭建

    人工获取大量数据耗时太久了,所以很多企业或者个人都是使用各种工具来获取批量获取数据的,比如使用网络爬虫来爬取数据,并需要代理IP池来突破限制才能顺利获取到数据。那么这爬虫使

  • 30 2019-10
    感受代理IP的强大

    代理IP作为网络信息的中转站,用户通过网络代理来获取网络信息,从而获得了浏览速度的提升以及安全保障等等的享受。代理IP的功能,大家已经非常清楚了吗?如果还有不太清楚的地方,不妨

  • 03 2020-07
    ip代理软件有什么作用

    IP我们都不陌生,一台电脑通常只有一个公网IP来确定电脑的位置。想换IP也是可以的,就是使用ip换地址软件。很多人都知道,但并不知道ip换地址软件有哪些用处。那么,今天我们就简单了解

  • 23 2019-08
    用了代理IP 真实IP还是能被查到?

    为什么明明用了代理IP,IP地址还是能够被别人查到呢?你有可能使用的普通匿名代理,通过一定的解密,不法黑客以及犯罪份子就可以进行破解,盗取你的个人信息加以利用。

  • 03 2019-04
    爬取网页信息为何要使用代理IP?

    代理IP有高匿名的,也有不匿名的,如果python爬虫使用代理IP爬取网页,是选高匿的还是不匿名的呢?爬取网页信息为何要使用代理IP?

  • 01 2019-08
    爬虫被限制IP访问频率可用http代理解决

    爬虫被限制IP访问频率可用http代理解决!一些网站为了控制流量和防止网站被攻击,因此会设置单ip一分钟内允许的最大请求数。因此网站的反爬机制会检查来访的ip地址,为了防止ip被封,这时

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部