您的位置:首页 > 新闻资讯 >文章内容
IP代理池的组成以及搭建过程中遇到的问题
来源:互联网 作者:admin 时间:2019-04-04 18:10:50

我们搭建IP代理池,一般都是选择免费的,不过免费的采集也简单,无非就是:访问页面页面 —> 正则/xpath提取 —> 保存。下面我们来看看IP代理池的组成以及遇到的问题。

IP代理池由四部分组成:

  • ProxyApi:用flask写的接口,功能是给爬虫提供get/delete/refresh等接口,方便爬虫直接使用。

  • ProxyGetter: 爬取免费代理

  • Schedule:调度。定时检测DB中的代理可用性,删除不可用的代理。同时也会主动通过ProxyGetter去获取最新代理。看代码好像是5分钟跑一次ProxyGetter。

  • DB:存储模块。使用SSDB,或者redis做可用代理队列的存储。



IP代理池的组成以及搭建过程中遇到的问题

会遇到哪些比较常见的问题:

由于整个项目的校验机制延时比较长,代码如下:

IP代理池的组成以及搭建过程中遇到的问题

每分钟校验一次可用代理,10分钟爬一次免费网站的代理。我个人感觉校验代理的世界太长了,可以看看我的测试。

跑了一天,代理池记录的代理如图

IP代理池的组成以及搭建过程中遇到的问题


我特别写的校验机制,循环20次校验拿到的代理可用数,如图:

IP代理池的组成以及搭建过程中遇到的问题


第一次校验通过24个代理可用,第二次只有18,中间耗时4s

IP代理池的组成以及搭建过程中遇到的问题


20次校验后,得到的可用代理只有13个

IP代理池的组成以及搭建过程中遇到的问题


由于项目校验可用代理延时为1分钟,最初可用代理76个。当我使用脚本校验20次后,可用的只有13个。意味着在这段时间内,可用的稳定的代理只有13/76,不到20%的稳定率。

在实际使用中,不管使用何种代理,校验都是必不可少的,但是不到20%的代理可用,这会对爬虫造成巨大的干扰,至少在我看来,在这种机制下,校验的IP还具有很大的提升空间。

解决问题的思路:

由于是爬取其他网站的活动代理,我们并不在乎我们单位时间的请求数,只需要在当下的代理可用即可。解决核心:76个IP其实还不如5个较为稳定的IP,我们如何让这76个IP变成5个可用的稳定的IP成为这个项目可以应用在实际工程中的核心。

总的来说通过代理绕过很多网站的确是很好的办法,但是高端的反爬虫越来越依托于秘钥校验等等,硬实力越来越重要。代理永远都只是一个工具,爬虫工程师的核心永远都是自己的对抗能力。不过找代理,可以找机灵代理。


相关文章内容简介
推荐阅读
  • 15 2019-03
    付费代理IP,用API代理还是爬虫代理好

    企业在使用代理IP时,对代理有质量上的追求,肯定是选择购买代理使用的。这代理IP也分类型的,有些是支持下载软件,直接使用的;有些是要提取IP进行使用;还有些是连接服务器使用的。

  • 28 2020-02
    ip代理软件的功能是什么

    代理ip的出现,让用户能够享受到一个更加安全便捷的上网环境,通过使用换ip软件,大家能够轻松的解决很多跟ip有关的难题。

  • 23 2019-02
    使用HTTP代理IP突破网站限制IP投票次数

    ​很多朋友总是在朋友圈拉人投票,谁的朋友多就能获得更多的票数,至于本身实力是否能得第一已经不太重要。

  • 30 2020-09
    为什么代理IP有时候速度很慢

    代理IP是现代社会中很多人经常使用的上网方式,特别是对于一些专业的网络营销人员来说,代理IP资源是他们工作必不可少的工具之一。在选择使用代理IP时,除了IP稳定性和安全性以外,IP速

  • 19 2019-07
    找个推广必备的动态ip代理软件

    找个推广必备的动态ip代理软件,大家有什么好介绍的吗?许多推广人员为了避免在平台推广限制或者封号,一般会更换IP来解决这个问题,那么怎么更换电脑的IP呢?

  • 21 2019-06
    HTTP代理、HTTPS代理和Socks代理使用哪个好

    HTTP代理、HTTPS代理和Socks代理使用哪个好?代理ip的种类较多,有透明代理IP、普通匿名代理、高级匿名代理IP、HTTP代理IP、HTTPS代理IP和Socks代理IP等,那么他们是怎么分类的,这些代理ip之间又有

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部