您的位置:首页 > 新闻资讯 >文章内容
怎么写个免费的开源IP代理池?
来源:互联网 作者:admin 时间:2019-03-20 17:29:22

  凡是使用网络爬虫的用户都知道,爬虫的标配是代理IP,没有代理IP,爬虫基本上属于寸步难行的,但是如果一直都要使用代理IP,每个项目需求的IP量也多,成本可不低,能不能使用免费的呢?是否可以写一个开源项目IPProxys,用来为个人提供代理ip。一起去看看怎么写个免费的开源IP代理池


  IPProxys原理:通过爬取各大代理网站提供的免费IP,进行去重,并验证ip的可用性,将有效的ip存储到sqlite中,并提供一个HTTP接口供爬虫程序获取ip。


  util包:提供一些工具类。其中的IPAddress.py查询ip的地理位置


  api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)


  data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)


  validator包:用来测试ip地址是否可用


  db包:主要是封装了一些数据库的操作


  test包:测试一些用例,不参与整个项目的运行


  config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)


  spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip


  整个项目的代码量不大,大家可以根据自己的需求进行修改,也可以提出自己的想法和建议帮助我改进这个项目。


  如何使用IPProxys项目呢?


  1.将项目目录clone到当前文件夹 $ git clone


  2.切换工程目录 $ cd IPProxys


  3.运行脚本 python IPProxys.py


  windows上运行效果如下图所示:


怎么写个免费的开源IP代理池


  项目依赖项:


  需要安装sqlite数据库;安装requests库:pip install requests;安装lxml: apt-get install python-lxml


  当IPProxys运行起来后,外部的爬虫如何获取ip呢?


  外部的爬虫只需要向IPProxys所在主机的8000端口发送GET请求即可。GET请求的参数为:


怎么写个免费的开源IP代理池


  例如:


  访问http://127.0.0.1:8000/?types=0&count=5&country=中国这个链接的含义是获取5个ip地址在中国的高匿代理。响应为JSON格式,返回数据为:[{"ip": "220.160.22.115", "port": 80}, {"ip": "183.129.151.130", "port": 80}, {"ip": "59.52.243.88", "port": 80}, {"ip": "112.228.35.24", "port": 8888}, {"ip": "106.75.176.4", "port": 80}]


  一般爬取到的有效ip大约有60个左右,基本上满足个人的需要。


  如果需要使用更多的有效IP,建议找代理精灵,可以提高海量的IP资源,IP线路遍布全国,而且好质量,不经检测也能直接使用。


相关文章内容简介
推荐阅读
  • 07 2019-05
    http代理能否维护隐私?

    http代理能否维护隐私?http代理的使用人群也不少,不过更多的人是不知道的,更早之前,甚至有人还不知道什么ip,更别说http代理了。但是随着时代的发展,以及互联网的不断进步,越来越多

  • 17 2019-01
    代理IP一般从哪里来?自己搭建IP池还是购买使用

    虽说现在互联网发展快,但是大数据样本获取依然要利用数据网络爬虫来实现,而网络爬虫工作者通常都绕不过代理IP这一问题,为什么,这由于在爬虫爬取信息内容的过程中,爬取频率高过了

  • 13 2019-04
    什么是动态IP?动态IP解析说明

    什么是动态IP呢?IP都动态IP也有静态IP,我们常用的是动态IP,原因是ipv4的IP地址分配完了,没得用了,于是我们大部分都是使用动态IP的。

  • 05 2019-08
    代理IP产品怎么挑选到好用的

    代理IP产品怎么挑选到好用的?商家提供的产品和服务差不多,但是还是有各自的优缺点,品质嘛也是值得讨论的。对于越来越被应用的代理IP,咱们到底该怎么选?

  • 09 2019-05
    爬虫代理可以加快数据的采集

    爬虫代理可以加快数据的采集,现在互联网形式的日益丰富和网络技术的不断提升,图片、数据库、音频/视频多媒体等不同数据大量出现,互联网变成了一个巨大的数据源,随着数据不断积累

  • 06 2019-12
    优秀的代理IP公司是什么样子的?

    网络上面我们可以看到很多不同的代理IP广告,点击进入可以看到不同的公司企业提供的服务,那么我们可以怎么去判断这些企业的资质呢?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部