您的位置:首页 > 新闻资讯 >文章内容
验证代理IP是否可用的代码
来源:互联网 作者:admin 时间:2019-10-09 11:03:19

  使用代理IP之前要做的一步操作就是要验证代理IP是否可用,如果IP是无效的,那么项目是无法成功启动的,所以这一个步骤是不可以缺少的。这也是为什么每一个爬虫程序开展之前都要有这么一步的原因。下面我们看看如何去快速验证代理IP的可用性,可用通过一个代码来实现。

  

验证代理IP是否可用的代码

  private void 导入IPToolStripMenuItem_Click(object sender, EventArgs e)

  {

  using (OpenFileDialog Openfile = new OpenFileDialog())

  {

  Openfile.Filter = "文本文件|*.txt";

  Openfile.Multiselect = false;

  if (Openfile.ShowDialog() == DialogResult.OK)

  {

  Thread threadfile = new Thread(() => ReadFileIP(Openfile.FileName)) { IsBackground = true };

  threadfile.Start();

  }

  }

  }

  /// <summary>

  /// 读取txt代理ip

  /// </summary>

  /// <param name="filename"></param>

  private void ReadFileIP(string filename)

  {

  txtmsg.BeginInvoke(new Action(() =>

  {

  txtmsg.AppendText("开始导入IP代理!".SetLog());

  }));

  var file = File.Open(filename, FileMode.Open);

  int num = 0;

  int goods = 0;

  int repeat = 0;

  using (var stream = new StreamReader(file))

  {

  while (!stream.EndOfStream)

  {

  num++;

  string linetemp = stream.ReadLine().Trim().ToLower();

  string[] iptxt = linetemp.Split(':');

  if (iptxt.Count() == 2)

  {

  lock (Config.lock_prxoy)

  {

  var data = Config._prxoyList.Where(m => m.ip == iptxt[0]).FirstOrDefault();

  if (data != null)

  {

  repeat++;

  continue;

  }

  }

  goods++;

  Model.ProxyIP _proxyip = new Model.ProxyIP();

  _proxyip.ip = iptxt[0];

  _proxyip.prot = int.Parse(iptxt[1]);

  ListViewItem item = new ListViewItem(_proxyip.ip);

  item.SubItems.Add(_proxyip.prot.ToString());

  item.SubItems.Add("");

  listViewIP.Invoke(new Action(() =>

  {

  ListViewItem itemresult = listViewIP.Items.Add(item);

  _dic.Add(_proxyip.ip, itemresult);

  //dic.Add(_send.Tel, backitem);

  }));

  lock (Config.lock_prxoy)

  {

  Config._prxoyList.Add(_proxyip);

  }

  }

  }

  }

  txtmsg.Invoke(new Action(() =>

  {

  string log = string.Format("添加代理IP完成!有效数据为:{0},过滤重复数据:{1},总数据:{2}", goods.ToString(), repeat.ToString(), num.ToString());

  txtmsg.AppendText(log.SetLog());

  }));

  Thread filter = new Thread(new ThreadStart(filterIP)) { IsBackground = true };

  filter.Start();

  }

  private void filterIP()

  {

  txtmsg.Invoke(new Action(() =>

  {

  txtmsg.AppendText("正在过滤IP数据!".SetLog());

  }));

  List<System.Threading.Tasks.Task> TaskList = new List<System.Threading.Tasks.Task>();

  lock (Config.lock_prxoy)

  {

  foreach (Model.ProxyIP _model in Config._prxoyList)

  {

  var task = System.Threading.Tasks.Task.Factory.StartNew(() =>

  {

  bool reslut = VerIP(_model.ip, _model.prot);

  if (reslut)

  {

  _model.filter = Model.filterIP.有效;

  this.Invoke(new Action(() =>

  {

  _dic[_model.ip].SubItems[2].Text = "有效";

  }));

  }

  else

  {

  _model.filter = Model.filterIP.无效;

  this.Invoke(new Action(() =>

  {

  _dic[_model.ip].SubItems[2].Text = "无效";

  }));

  }

  });

  TaskList.Add(task);

  }

  }

  System.Threading.Tasks.Task.WaitAll(TaskList.ToArray());

  txtmsg.Invoke(new Action(() =>

  {

  txtmsg.AppendText(Config._prxoyList[0].filter.ToString() + "过滤IP数据完成!".SetLog());

  }));

  }

  private bool VerIP(string ip,int port)

  {

  try

  {

  HttpWebRequest Req;

  HttpWebResponse Resp;

  WebProxy proxyObject = new WebProxy(ip, port);// port为端口号 整数型

  Req = WebRequest.Create("https://www.baidu.com") as HttpWebRequest;

  Req.Proxy = proxyObject; //设置代理

  Req.Timeout = 1000; //超时

  Resp = (HttpWebResponse)Req.GetResponse();

  Encoding bin = Encoding.GetEncoding("UTF-8");

  using (StreamReader sr = new StreamReader(Resp.GetResponseStream(), bin))

  {

  string str = sr.ReadToEnd();

  if (str.Contains("百度"))

  {

  Resp.Close();

  return true;

  }

  else

  {

  return false;

  }

  }

  }

  catch (Exception ex)

  {

  return false;

  }

  }

  }


  使用这个代码去进行过滤效果非常好,而且执行速度也快,以上是主要代码部分,足够大家使用了。


相关文章内容简介
推荐阅读
  • 24 2020-03
    使用代理ip顺利完成数据采集

    如何获取海量的信息数据采集,单靠人工是无法完成如此庞大的数据信息的,通常现在都是需要使用网络爬虫去完成,但是网络爬虫需要使用代理ip突破限制,来支持爬虫顺利进行。

  • 17 2020-04
    寻找高质量代理ip很重要

    代理ip是现在网络上经常出现的高频词语,它的使用正在面向全部网络用户在推广开来。不过对于一些刚开始认识代理ip的用户,在线代理ip到底要怎么选择?这是每一个使用代理ip的用户都非常关

  • 16 2019-08
    用代理IP软件守护个人隐私安全

    大数据时代,互联网的便捷是把双刃剑,个人信息泄露事件频发,微博莫名关注了一堆陌生营销账号,QQ不知怎么就被加进陌生群组,接到能直呼其名的营销电话……这时就得小心了,你的账户

  • 26 2019-12
    选择代理ip​要考察什么?

    选择代理ip​要考察什么?虽然IP代理行业现在有了一个很好的发展方向,但我们必须看到,由于这个行业的发展速度非常快,也有一个不好的一面,比如市场的快速发展导致IP质量参差不齐,用

  • 10 2020-02
    代理IP可以注册很多帐号

    代理IP就是换IP的软件,主要应用在网络注册、投票、抢购等网络工作方面。很多用过的用户都知道,代理IP是非常好用的工具。

  • 22 2019-02
    什么是HTTP代理

    大家对HTTP代理应该都非常熟悉,它在很多方面都有着极为广泛的应用。HTTP代理分为正向代理和反向代理两种,后者一般用于将防火墙后面的服务提供给用户访问或者进行负载均衡

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部