您的位置:首页 > 新闻资讯 >文章内容
个人用户获得免费代理IP方式
来源:互联网 作者:admin 时间:2019-10-25 10:53:58

  对于爬虫学习者来说,练习是很有必要的,因为看了再好的教程跟理论,都比不上一次一次的反复操作,从实践中学习,能够快速提升。但是如果练习次次都需要购买代理IP服务,那么这费用确实有点可惜。所以,为了爬虫练习者,这里提供一个可用于提供免费代理IP的方式给大家。


  IPProxys原理:通过爬取各大代理网站提供的免费IP,进行去重,并验证ip的可用性,将有效的ip存储到sqlite中,并提供一个HTTP接口供爬虫程序获取ip。


  api包:主要是实现http服务器,提供api接口(通过get请求,返回json数据)


  data文件夹:主要是数据库文件的存储位置和qqwry.dat(可以查询ip的地理位置)


  db包:主要是封装了一些数据库的操作


  spider包:主要是爬虫的核心功能,爬取代理网站上的代理ip


  test包:测试一些用例,不参与整个项目的运行


  util包:提供一些工具类。其中的IPAddress.py查询ip的地理位置


  validator包:用来测试ip地址是否可用


  config.py:主要是配置信息(包括配置ip地址的解析方式和数据库的配置)


  如何使用IPProxys项目呢?


  1、将项目目录clone到当前文件夹


  $ git clone


  2、切换工程目录


  $ cd IPProxys


  3、运行脚本


  python IPProxys.py


  windows上运行效果如下图所示:

  

获得免费代理IP方式

  项目依赖项:


  需要安装sqlite数据库


  安装requests库:pip install requests


  安装lxml: apt-get install python-lxml


  当IPProxys运行起来后,外部的爬虫如何获取ip呢?


  外部的爬虫只需要向IPProxys所在主机的8000端口发送GET请求即可。


  例如:


  访问http://127.0.0.1:8000/?types=0&count=5&country=中国这个链接的含义是获取5个ip地址在中国的高匿代理。响应为JSON格式,返回数据为:[{"ip": "220.160.22.115", "port": 80}, {"ip": "183.129.151.130", "port": 80}, {"ip": "59.52.243.88", "port": 80}, {"ip": "112.228.35.24", "port": 8888}, {"ip": "106.75.176.4", "port": 80}]


  一般爬取到的有效ip大约有60个左右,基本上满足个人的需要。


  以上,就是个人用户获取免费代理IP来进行爬虫练习的操作流程。


相关文章内容简介
推荐阅读
  • 31 2019-05
    IP代理能提高业务效率

    IP代理能提高业务效率,因为IP代理能够快速的切换IP地址,让我们继续工作。

  • 26 2020-01
    代理ip对网络营销的帮助

    目前社会当中推出了高质量代理ip,他有很多用处,可以服务于我们平时的工作,无论是对于家庭网络还是对于工作环境当中的网络,都可以改善网络环境,提高网速,同时增加安全系数。

  • 03 2020-08
    HTTP代理都有什么用处

    先讲解一下什么是HTTP代理服务器:它是介于Web客户端和Web服务器之间的信息中转站。它既是Web客户端的服务器,又是Web服务器的客户端。再来说下HTTP代理有哪些?HTTP代理服务器按其所处的位置

  • 05 2019-02
    python爬虫解决验证码问题的三种方法

    爬虫经常遇到网站的反爬虫,比如IP限制,可以使用代理精灵的海量IP来解决限制,但是对于验证码限制,大家又是怎么突破这个限制的呢?

  • 03 2019-12
    使用代理服务器具有的好处

    代理服务器在互联网上发挥着非常关键的作用,不少用户就算用着代理服务器也不知道代理服务器能够帮助我们完成什么事项,下面我们来看看代理服务器的特性。

  • 30 2020-11
    动态ip代理的代理模式

    ip代理的选择对许多用户来说是一个难题,不仅因为代理ip的类型太多,还因为用户对更换ip软件不够了解,这使得人们无法选择服务。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部