您的位置:首页 > 新闻资讯 >文章内容
验证代理IP是否可用的代码
来源:互联网 作者:admin 时间:2019-10-09 11:03:19

  使用代理IP之前要做的一步操作就是要验证代理IP是否可用,如果IP是无效的,那么项目是无法成功启动的,所以这一个步骤是不可以缺少的。这也是为什么每一个爬虫程序开展之前都要有这么一步的原因。下面我们看看如何去快速验证代理IP的可用性,可用通过一个代码来实现。

  

验证代理IP是否可用的代码

  private void 导入IPToolStripMenuItem_Click(object sender, EventArgs e)

  {

  using (OpenFileDialog Openfile = new OpenFileDialog())

  {

  Openfile.Filter = "文本文件|*.txt";

  Openfile.Multiselect = false;

  if (Openfile.ShowDialog() == DialogResult.OK)

  {

  Thread threadfile = new Thread(() => ReadFileIP(Openfile.FileName)) { IsBackground = true };

  threadfile.Start();

  }

  }

  }

  /// <summary>

  /// 读取txt代理ip

  /// </summary>

  /// <param name="filename"></param>

  private void ReadFileIP(string filename)

  {

  txtmsg.BeginInvoke(new Action(() =>

  {

  txtmsg.AppendText("开始导入IP代理!".SetLog());

  }));

  var file = File.Open(filename, FileMode.Open);

  int num = 0;

  int goods = 0;

  int repeat = 0;

  using (var stream = new StreamReader(file))

  {

  while (!stream.EndOfStream)

  {

  num++;

  string linetemp = stream.ReadLine().Trim().ToLower();

  string[] iptxt = linetemp.Split(':');

  if (iptxt.Count() == 2)

  {

  lock (Config.lock_prxoy)

  {

  var data = Config._prxoyList.Where(m => m.ip == iptxt[0]).FirstOrDefault();

  if (data != null)

  {

  repeat++;

  continue;

  }

  }

  goods++;

  Model.ProxyIP _proxyip = new Model.ProxyIP();

  _proxyip.ip = iptxt[0];

  _proxyip.prot = int.Parse(iptxt[1]);

  ListViewItem item = new ListViewItem(_proxyip.ip);

  item.SubItems.Add(_proxyip.prot.ToString());

  item.SubItems.Add("");

  listViewIP.Invoke(new Action(() =>

  {

  ListViewItem itemresult = listViewIP.Items.Add(item);

  _dic.Add(_proxyip.ip, itemresult);

  //dic.Add(_send.Tel, backitem);

  }));

  lock (Config.lock_prxoy)

  {

  Config._prxoyList.Add(_proxyip);

  }

  }

  }

  }

  txtmsg.Invoke(new Action(() =>

  {

  string log = string.Format("添加代理IP完成!有效数据为:{0},过滤重复数据:{1},总数据:{2}", goods.ToString(), repeat.ToString(), num.ToString());

  txtmsg.AppendText(log.SetLog());

  }));

  Thread filter = new Thread(new ThreadStart(filterIP)) { IsBackground = true };

  filter.Start();

  }

  private void filterIP()

  {

  txtmsg.Invoke(new Action(() =>

  {

  txtmsg.AppendText("正在过滤IP数据!".SetLog());

  }));

  List<System.Threading.Tasks.Task> TaskList = new List<System.Threading.Tasks.Task>();

  lock (Config.lock_prxoy)

  {

  foreach (Model.ProxyIP _model in Config._prxoyList)

  {

  var task = System.Threading.Tasks.Task.Factory.StartNew(() =>

  {

  bool reslut = VerIP(_model.ip, _model.prot);

  if (reslut)

  {

  _model.filter = Model.filterIP.有效;

  this.Invoke(new Action(() =>

  {

  _dic[_model.ip].SubItems[2].Text = "有效";

  }));

  }

  else

  {

  _model.filter = Model.filterIP.无效;

  this.Invoke(new Action(() =>

  {

  _dic[_model.ip].SubItems[2].Text = "无效";

  }));

  }

  });

  TaskList.Add(task);

  }

  }

  System.Threading.Tasks.Task.WaitAll(TaskList.ToArray());

  txtmsg.Invoke(new Action(() =>

  {

  txtmsg.AppendText(Config._prxoyList[0].filter.ToString() + "过滤IP数据完成!".SetLog());

  }));

  }

  private bool VerIP(string ip,int port)

  {

  try

  {

  HttpWebRequest Req;

  HttpWebResponse Resp;

  WebProxy proxyObject = new WebProxy(ip, port);// port为端口号 整数型

  Req = WebRequest.Create("https://www.baidu.com") as HttpWebRequest;

  Req.Proxy = proxyObject; //设置代理

  Req.Timeout = 1000; //超时

  Resp = (HttpWebResponse)Req.GetResponse();

  Encoding bin = Encoding.GetEncoding("UTF-8");

  using (StreamReader sr = new StreamReader(Resp.GetResponseStream(), bin))

  {

  string str = sr.ReadToEnd();

  if (str.Contains("百度"))

  {

  Resp.Close();

  return true;

  }

  else

  {

  return false;

  }

  }

  }

  catch (Exception ex)

  {

  return false;

  }

  }

  }


  使用这个代码去进行过滤效果非常好,而且执行速度也快,以上是主要代码部分,足够大家使用了。


相关文章内容简介
推荐阅读
  • 16 2019-08
    不同的IP代理商有什么区别?

    在面临众多IP代理商,相信不少人会先根据价格进行选择。但是不同价格段位的代理商,所提供的使用体验也有会有所不同。

  • 10 2019-06
    搭建代理服务器要花费多少成本

    搭建代理服务器要花费多少成本,这一点估计很多人都没有想过,其实大部分的人使用代理ip都是考虑抓取免费的,或者是租用商家的,很多人自己去搭建的。

  • 19 2019-03
    IP代理无效?检查爬虫有没有陷进这些误区

    一些专门采集信息的网络爬虫并不受各网站的欢迎,甚至还会设置重重的关卡来限制爬虫的访问,但何为我们使用了IP代理还是无效的,一直突破不了IP限制,这倒是是IP代理的问题,还是其他的

  • 15 2019-03
    付费代理IP,用API代理还是爬虫代理好

    企业在使用代理IP时,对代理有质量上的追求,肯定是选择购买代理使用的。这代理IP也分类型的,有些是支持下载软件,直接使用的;有些是要提取IP进行使用;还有些是连接服务器使用的。

  • 11 2019-05
    IP代理能突破HTTPS加密的网站吗?

    IP代理能突破HTTPS加密的网站吗?很多网站使用的都是HTTP,但是相对于HTTP,HTTPS会更加的安全些,加密之后,我们想要抓取数据,IP代理还有用吗?

  • 21 2019-07
    代理IP选哪个:Socks、HTTP、HTTPS代理

    代理IP选哪个:Socks、HTTP、HTTPS代理,这三者有什么区别?代理最常见的可以分为HTTP代理IP、HTTPS代理IP和Socks代理IP,用途是一样的吗?怎么选呢?

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961