您的位置:首页 > 新闻资讯 >文章内容
构建一个你的爬虫代理IP池
来源:互联网 作者:admin 时间:2019-09-02 10:35:52

  网站现在对于单个IP的访问频次都有严格的监控,特别是像一些大型网站,这样单个IP很容易被封。如果手上没有足够的IP,项目也无法完成,当我们在做某个项目或是爬虫的时,需要大量IP的话,我们可以考虑去搭建一个专门的代理IP池。


构建一个你的爬虫代理IP池


  获取IP的方式主要有以下几种:


  1、在平台购买现成收费的代理ip,ip质量高,高匿安全稳定,ip速度快,从而节约更多的时间去增加工作效率。比如机灵代理这类专业的IP代理商,搭配自建IP池以及专业的售前售后客服团队。


  2、从免费的网站上获取,获取的工作量非常大,ip可用率低,质量没有保障,获取到仅有的ip还未必安全,所以一般专业爬虫的工作者,不会去抓取免费代理ip。


  3、自己搭建代理服务器,建立独立机房,完全按自己的要求去搭建,代理ip绝对完美,但是搭建成本非常高,后期还需要专业的人定期代理维护,在性价比的情况下,还是不太适合适用。


  本文的代理IP池是通过爬虫事先从多个免费网站上获取代理IP之后,再做检查判断IP是否可用,可用的话就存放到MongoDB中,最后展示到前端的页面上。


  获取可用Proxy


  获取代理的核心代码是ProxyManager,它采用RxJava2来实现,主要做了以下几件事:


  创建ParallelFlowable,针对每一个提供免费代理IP的页面并行地抓取。


  Flowable.fromIterable(ProxyPool.proxyMap.keySet())

  .parallel()

  针对每一个页面进行抓取,返回List

  map(new Function() {

  @Override

  public List apply(String s) throws Exception {

  try {

  return new ProxyPageCallable(s).call();

  } catch (Exception e) {

  e.printStackTrace();

  }

  return null;

  }

  })

  对每一个页面获取的代理IP列表进行校验,判断是否可用

  flatMap(new Function() {

  @Override

  public Publisher apply(List proxies) throws Exception {

  if (proxies == null) return null;

  List result = proxies .stream()

  .parallel()

  .filter(new Predicate() {

  @Override

  public boolean test(Proxy proxy) {

  HttpHost httpHost = new HttpHost(proxy.getIp(), proxy.getPort(), proxy.getType());

  return HttpManager.get().checkProxy(httpHost);

  }

  }).collect(Collectors.toList());

  return Flowable.fromIterable(result);

  }

  })

  依次保存到proxyList

  subscribe(new Consumer() {

  @Override

  public void accept(Proxy proxy) throws Exception {

  log.debug("Result Proxy = "+proxy.getType()+"://"+proxy.getIp()+":"+proxy.getPort());

  proxy.setLastSuccessfulTime(new Date().getTime());

  ProxyPool.proxyList.add(proxy);

  }

  });

  ProxyManager代码:

  import com.cv4j.proxy.domain.Proxy;import com.cv4j.proxy.http.HttpManager;import com.cv4j.proxy.task.ProxyPageCallable;import io.reactivex.Flowable;import io.reactivex.functions.Consumer;import io.reactivex.functions.Function;import lombok.extern.slf4j.Slf4j;import org.apache.http.HttpHost;import org.reactivestreams.Publisher;import org.springframework.stereotype.Component;import java.util.Date;import java.util.List;import java.util.function.Predicate;import java.util.stream.Collectors;/**

  * Created by tony on 2017/10/25.

  */@Slf4j@Componentpublic class ProxyManager {

  /**

  * 抓取代理,成功的代理存放到ProxyPool中

  */

  public void start() {

  Flowable.fromIterable(ProxyPool.proxyMap.keySet())

  .parallel()

  .map(new Function() {

  @Override

  public List apply(String s) throws Exception {

  try {

  return new ProxyPageCallable(s).call();

  } catch (Exception e) {

  e.printStackTrace();

  }

  return null;

  }

  })

  .flatMap(new Function() {

  @Override

  public Publisher apply(List proxies) throws Exception {

  if (proxies == null) return null;

  List result = proxies .stream()

  .parallel()

  .filter(new Predicate() {

  @Override

  public boolean test(Proxy proxy) {

  HttpHost httpHost = new HttpHost(proxy.getIp(), proxy.getPort(), proxy.getType());

  return HttpManager.get().checkProxy(httpHost);

  }

  }).collect(Collectors.toList());

  return Flowable.fromIterable(result);

  }

  })

  .sequential()

  .subscribe(new Consumer() {

  @Override

  public void accept(Proxy proxy) throws Exception {

  log.debug("Result Proxy = "+proxy.getType()+"://"+proxy.getIp()+":"+proxy.getPort());

  proxy.setLastSuccessfulTime(new Date().getTime());

  ProxyPool.proxyList.add(proxy);

  }

  });

  }}

  定时任务

  每隔几个小时跑一次定时任务,在抓取完任务之后先删除旧的数据,然后再把新的数据插入到MongoDB中。

  import com.cv4j.proxy.ProxyManager;import com.cv4j.proxy.ProxyPool;import com.cv4j.proxy.dao.ProxyDao;import com.cv4j.proxy.domain.Proxy;import com.safframework.tony.common.utils.Preconditions;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.scheduling.annotation.Scheduled;import org.springframework.stereotype.Component;import java.util.concurrent.CopyOnWriteArrayList;/**

  * Created by tony on 2017/11/22.

  */@Componentpublic class ScheduleJobs {

  @Autowired

  ProxyDao proxyDao;

  @Autowired

  ProxyManager proxyManager;

  /**

  * 每六个小时跑一次任务

  */

  @Scheduled(cron = "0 0 */6 * * ?")

  public void cronJob() {

  System.out.println("Job Start...");

  proxyManager.start();

  CopyOnWriteArrayList list = ProxyPool.proxyList;

  // 先删除旧的数据

  proxyDao.deleteAll();

  // 然后再进行插入新的proxy

  if (Preconditions.isNotBlank(list)) {

  for (Proxy p:list) {

  proxyDao.saveProxy(p);

  }

  }

  System.out.println("Job End...");

  }}


  展示到前端

  在使用前,还可以再做一次检测,只要双击某个代理IP即可。

  在第二次检测时,对于已经失效的IP会被ProxyPool删除。


相关文章内容简介
推荐阅读
  • 29 2019-06
    HTTP代理找免费的怎样?

    HTTP代理找免费的怎样?肯定是有利也有弊的,就看你怎么看了,另外还分析了其他类型的HTTP代理,大家可以对比下效果的。

  • 27 2019-06
    动态IP不够用怎么办?

    动态IP不够用怎么办?想换个IP地址,但是重启之后IP地址是换了,但是换来换去也就那么几个的,作用不大,这该怎么办呢?动态IP不够用怎么办?

  • 05 2019-09
    手机怎么用动态IP代理?

    手机是不是也能够用代理IP更换IP?现在很多网络操作都转移到手机端上了,手机换IP的需求也变得多。那么,手机切换不同地区的IP是可行的吗?

  • 22 2020-07
    免费代理IP不推荐使用

    大数据时代已经到来,代理IP也得到了迅速发展。打开百度,输入"代理IP"关键字,到处都可以看到大量的代理IP资源,实际的操作会发现不稳定是这些IP的共同问题,经常遇到的只是IP,还没有使

  • 09 2019-05
    找个支持http/https/Socks5代理使用

    找个支持http/https/Socks5代理使用,现在代理ip越来越被人们重视,这是因为人们发现代理ip越来越有用处,而且我们在上网的时候,很多时候都要用到代理的。

  • 30 2020-09
    为什么代理IP有时候速度很慢

    代理IP是现代社会中很多人经常使用的上网方式,特别是对于一些专业的网络营销人员来说,代理IP资源是他们工作必不可少的工具之一。在选择使用代理IP时,除了IP稳定性和安全性以外,IP速

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部