您的位置:首页 > 新闻资讯 >文章内容
java爬虫的HttpClient请求
来源:互联网 作者:admin 时间:2019-02-15 10:48:37

我们在获取网络资源的过程中,或许会一些限制,所以许多Java程序要使用HTTP协议来获取网络资源,今天我们来了解下java爬虫的HttpClient请求:


什么是HttpClient:


HttpClient是Apache Jakarta Common 下的子项目,可以用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。


HttpClient就是一个增强版的HttpURLConnection,主要用于模拟浏览器请求url,返回response获取网页数据,然后使用jsoup解析网页,提取我们需要的信息。


java爬虫的HttpClient请求:


1.发送httpget请求


java爬虫的HttpClient请求


2.httpclient发送请求


使用httpclient直接发送请求,对于某些安全性较高的网站而言,该httpGet请求会被识别非浏览器代理请求而被拒绝访问。所以一般项目都需要使用httpClient模拟浏览器发送请求,浏览器关键参数。


  java爬虫的HttpClient请求


HttpGet请求除了访问到指定的url之外,还可设置请求头、请求连接等参数信息。这些参数对于真实浏览器发送的http请求是必不可少的,可通过浏览器-network进行查看具体需要设置哪几种参数以及参数值。


  java爬虫的HttpClient请求


对于返回的response httpEntity,可获取实体的内容编码,以及返回状态码来。返回实体信息主要用于特征识别 ,使用content-type过滤调不需要的其他相应类型,例如只要text类型的。


3.采集图片


response返回信息中肯定会有对应图片信息,例如图片验证码、图片二维码等登录凭证。在编写爬虫时,网页中图片的采集方案大致如下:


筛选图片:确认该请求为图片,根据contentType进行筛选。获取是图片的请求 ,找到图片,然后处理,另存。


保存方式:图片服务器,采集好放到图片服务器中;直接存到项目目录下,webapp项目路径下或者缓存中。


  java爬虫的HttpClient请求


这里使用了commons-io, apache IO 框架 copyFileto方法,直接将图片流另存为图片文件到指定路径下。


四、动态更换代理IP


一般对于访问量大、安全性高的网站都有各自的反爬策略,其中针对定期、规律性访问的IP会进行拉黑屏蔽处理。定向爬取某类网站数据便需要使用大量代理IP进行访问,避免IP被封的情况发生。其中代理IP根据是否易被目标网站发现分为,透明代理、匿名代理、混淆代理(伪装)、高匿代理(隐蔽性最高,让别人根本无法发现你在使用代理)。


一般如果IP被封,那请求返回状态一般为403,拒绝访问,这时则需要换一个ip再去访问。另外代理ip管理策略,如果项目没有专门购买批量代理Ip则需要自行在网站上抓代理ip,把抓到的ip都放到先进先出的队列里。n个队列,例如每个40个IP放到1个队列里,队列里<10个了,再去抓。队列里的IP先进先出,避免重复使用。养成代理IP池。


  java爬虫的HttpClient请求



相关文章内容简介
推荐阅读
  • 16 2019-02
    爬虫使用代理IP后,还遇到IP问题怎么处理

    对爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能会遇到同一个IP访问过于频繁的问题,网站就会让我们输入验证码或登录或直接封锁IP,这样会给爬取带来极大的不便。

  • 06 2019-05
    提示ip相同怎么换IP?

    提示ip相同怎么换IP?由于IP地址的缺乏,很多使用的都是局域网,或者是共用IP池,使用的是动态IP,因此IP地址比较类似,或者是一样,如果频繁使用很有可能会被封,那么如果出现这样的问题

  • 10 2019-05
    用IP代理工具能多注册账号吗?

    用IP代理工具能多注册账号吗?我们在注册账号的时候,首先要满足条件,才能正常的注册,如果我们想多注册些,是否能绕开一些条件限制呢?比如IP限制,能否使用IP代理工具切换IP继续注册

  • 04 2019-04
    IP代理池的组成以及搭建过程中遇到的问题

    我们搭建IP代理池,一般都是选择免费的,不过免费的采集也简单,无非就是:访问页面页面 —> 正则/xpath提取 —> 保存。下面我们来看看IP代理池的组成以及搭建过程中遇到的问题。

  • 04 2019-07
    代理IP用什么地区的好?

    代理IP用什么地区的好?代理有地区之分的,像机灵代理拥有全国200多城市的IP线路,也就是说有些地区有代理也有地区没有,这是为什么呢?代理IP用什么地区的好?

  • 21 2019-06
    如何验证ip代理是否可以用

    如何验证ip代理是否可以用?网络上有很多的免费代理ip,但是有效率低的可怜,这个是为什么呢?这是因为用的人太多了,同一个ip无数人用来访问同一个网站,ip就会被封掉。那么如何验证ip是

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961