您的位置:首页 > 新闻资讯 >文章内容
怎么写个免费的开源IP代理池?
来源:互联网 作者:admin 时间:2019-03-20 17:29:22

  凡是使用网络爬虫的用户都知道,爬虫的标配是代理IP,没有代理IP,爬虫基本上属于寸步难行的,但是如果一直都要使用代理IP,每个项目需求的IP量也多,成本可不低,能不能使用免费的呢?是否可以写一个开源项目IPProxys,用来为个人提供代理ip。一起去看看怎么写个免费的开源IP代理池


  IPProxys原理:通过爬取各大代理网站提供的免费IP,进行去重,并验证ip的可用性,将有效的ip存储到sqlite中,并提供一个HTTP接口供爬虫程序获取ip。


  util包:提供一些工具类。其中的IPAddress.py查询ip的地理位置


  api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)


  data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)


  validator包:用来测试ip地址是否可用


  db包:主要是封装了一些数据库的操作


  test包:测试一些用例,不参与整个项目的运行


  config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)


  spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip


  整个项目的代码量不大,大家可以根据自己的需求进行修改,也可以提出自己的想法和建议帮助我改进这个项目。


  如何使用IPProxys项目呢?


  1.将项目目录clone到当前文件夹 $ git clone


  2.切换工程目录 $ cd IPProxys


  3.运行脚本 python IPProxys.py


  windows上运行效果如下图所示:


怎么写个免费的开源IP代理池


  项目依赖项:


  需要安装sqlite数据库;安装requests库:pip install requests;安装lxml: apt-get install python-lxml


  当IPProxys运行起来后,外部的爬虫如何获取ip呢?


  外部的爬虫只需要向IPProxys所在主机的8000端口发送GET请求即可。GET请求的参数为:


怎么写个免费的开源IP代理池


  例如:


  访问http://127.0.0.1:8000/?types=0&count=5&country=中国这个链接的含义是获取5个ip地址在中国的高匿代理。响应为JSON格式,返回数据为:[{"ip": "220.160.22.115", "port": 80}, {"ip": "183.129.151.130", "port": 80}, {"ip": "59.52.243.88", "port": 80}, {"ip": "112.228.35.24", "port": 8888}, {"ip": "106.75.176.4", "port": 80}]


  一般爬取到的有效ip大约有60个左右,基本上满足个人的需要。


  如果需要使用更多的有效IP,建议找代理精灵,可以提高海量的IP资源,IP线路遍布全国,而且好质量,不经检测也能直接使用。


相关文章内容简介
推荐阅读
  • 21 2019-05
    代理IP加速和网游加速的区别

    代理IP加速和网游加速的区别,游戏如果进行加速,游戏会流畅很多,尤其是下副本的时候,网速是非常重要的。网游加速器是针对游戏ip进行加速,从而达到降低游戏延迟的效果。

  • 27 2019-06
    游戏设置代理IP怎么查看是否生效

    游戏设置代理IP怎么查看是否生效?玩游戏想要防止IP被封,使用代理IP更换IP地址是个好办法,不然被封个十天半个月的,非常影响玩游戏的心态不说,也错过了赚钱的机会。因此玩游戏使用代

  • 23 2019-04
    选择HTTP代理,要考虑下连接速度、稳定、数量问题

    选择HTTP代理,要考虑下连接速度、稳定、数量问题,为什么这么说呢?因为这些因素都会影响到我们使用的效果,影响到最终的工作,这自然是要重视的。下面我们就来看看这几个方面的情况

  • 04 2019-10
    curl如何实现代理并访问网站?

    PHP如何用CURL方式去使用代理,以及如何去进行网站访问?你是否刚好需要应用到这个相关的知识点呢?下面机灵代理来给大家带来详细的教程解说。

  • 29 2019-10
    HTTP代理服务的好处

    我们访问互联网,是通过输入网站的网址开始的。输入正确的网址之后,就能够跳转到我们想要去的网战。"www"开头的网站使用的协议就是HTTP协议,它是网络中最普遍最常见的网络通信方式。今

  • 15 2019-10
    选用代理IP的好处以及注意事项

    互联网的技术不断在革新,技术与人们生活进行融合,带来了便利,其中代理IP也在人们的工作以及生活中派上用场。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部