您的位置:首页 > 新闻资讯 >文章内容
不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程
来源:互联网 作者:admin 时间:2019-03-20 17:54:53

  有可能是因为使用了低质量的代理IP,可能是你的IP进了该站的黑名单,某一段时间内不能访问该站的资源。那么该怎么解决这个问题?比较有效的方式是使用代理ip,而如果有一个自己的代理ip池,效果会好很多。


  因此,制作一个代理IP池是很有必要的,但是不知道怎么制作代理ip池。本文介绍下关于代理IP池的搭建。


  西刺网是一个免费代理ip资源比较多的站,本文就从西刺网获取ip,制作代理ip池。


  有俩千多页代理ip,当然这是按时间排序的,我估计越到后面的ip可能就没啥用了.


  分析该页面的源码


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  很简单的发现,所有的代理ip信息都在table下,每一个tr都是一条ip的信息。那这就比较简单了,分分钟来一个漂亮的正则来将需要的信息匹配出来(这里我匹配的有ip地址,端口,类型,服务器地址,是否匿名)


  编写xc.py


  正则表达式(个人觉得这应该是本程序最精华的部分)的使用如下


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  \d匹配数字,\d+匹配多个数字 (\d+) 这里匹配端口号


  [A-Z]匹配大写字母,[A-Z]+匹配多个大写字母 这里匹配的是类型


  .匹配单个任意字符,*匹配前面字符0到多次,?匹配前面0到一次,(.*?)匹配任意字符


  如果你对正则表达式不是很熟悉,你可以在这里(传送门2 菜鸟教程)进行这方面的学习。


  下面编写请求头


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  第一个self.headers是下载页面的请求头,self.proxyHeaders是后面验证ip是否可用的请求头。


  下面是下载页面和正则匹配的函数


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  根据上面的代码,就可以将代理ip从西刺站拿下来,接下来检验是否有效。


  requests是一个非常有用的库,这里也将使用它进行校验


  self.req.get("http://www.baidu.com",proxies={"{}".format(i[2]):"{}://{}:{}".format(i[2],i[0],i[1])},timeout=5)


  i 是 ('110.73.48.247', '8123', 'HTTP') 类数据


  为了保证校验的可靠性,我把每次校验设置超时5s。


  如此就能拿到新鲜免费的代理ip了,为了使得ip能多次使用,我将其存入mysql数据库中。


  写入代码如下


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  读取代码如下


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  最后来看下使用效果:


  编写demo.py 再导入xc.py 中的xiciSpider类


不知道怎么制作代理ip池?抓取免费IP搭建代理IP池教程


  首先你需要从西刺网将ip爬取到自己数据库中,然后再从数据库中提取有用的ip。


  这是否觉得很麻烦呢?但是不使用代理IP池又不行,有没有什么好的方法?可以使用代理精灵!直接就能提取大量的IP资源,使用方便。


相关文章内容简介
推荐阅读
  • 14 2019-07
    免费代理ip的IP可用率不高

    免费代理ip的IP可用率不高,这是为什么?直白的说,就是使用的人太多了,因为是免费公开的,代表着全网可用,可想而知有多少人在用了。

  • 13 2019-06
    数据采集离不开代理ip的支持

    数据采集离不开代理ip的支持,因为现在数据产生比较快,我们需要分析一件事情,可能需要分析很多的信息才能挖机到有价值的资料。而要用大量的信息,并不是任你使用的,这需要去一些平

  • 07 2019-03
    反网络爬虫主要有几种方式

    网站都是有反网络爬虫的,否则还真的无法正常的运营,因为大量的爬虫进入会严重影响网页的访问速度,频繁访问网站会让网站服务器负载过大,还尤其竞争上面的因素,因此不得不防爬虫。

  • 18 2020-03
    手机可以使用代理ip软件吗

    手机可以使用代理ip软件吗?答案是肯定的。不仅只是通过软件设置,也可以通过直连的方式,比如通过L2tp、pptp等协议连接,都是不需要通过软件去切换,只需要代理ip软件的账号密码就可以连

  • 27 2019-02
    机器刷票:投票系统配合代理IP使用刷票更加安全

    很多投票活动都在微信上,在朋友圈中也是经常看到别人分享的投票页面,这也是一种拉票的方式,这微信人工刷票和机器刷票区别在哪里?人工刷票过于麻烦了,能不能使用机器刷票呢?如何

  • 15 2019-05
    免费IP代理能用多久?

    免费IP代理能用多久?这一点大家有没有关注?很多代理商家都会提供免费IP代理,这些都是有限制的,比如一天提供多少,或者免费多长时间。

在线咨询
大客户经理
大客户经理
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部