您的位置:首页 > 新闻资讯 >文章内容
IP代理池的组成以及搭建过程中遇到的问题
来源:互联网 作者:admin 时间:2019-04-04 18:10:50

我们搭建IP代理池,一般都是选择免费的,不过免费的采集也简单,无非就是:访问页面页面 —> 正则/xpath提取 —> 保存。下面我们来看看IP代理池的组成以及遇到的问题。

IP代理池由四部分组成:

  • ProxyApi:用flask写的接口,功能是给爬虫提供get/delete/refresh等接口,方便爬虫直接使用。

  • ProxyGetter: 爬取免费代理

  • Schedule:调度。定时检测DB中的代理可用性,删除不可用的代理。同时也会主动通过ProxyGetter去获取最新代理。看代码好像是5分钟跑一次ProxyGetter。

  • DB:存储模块。使用SSDB,或者redis做可用代理队列的存储。



IP代理池的组成以及搭建过程中遇到的问题

会遇到哪些比较常见的问题:

由于整个项目的校验机制延时比较长,代码如下:

IP代理池的组成以及搭建过程中遇到的问题

每分钟校验一次可用代理,10分钟爬一次免费网站的代理。我个人感觉校验代理的世界太长了,可以看看我的测试。

跑了一天,代理池记录的代理如图

IP代理池的组成以及搭建过程中遇到的问题


我特别写的校验机制,循环20次校验拿到的代理可用数,如图:

IP代理池的组成以及搭建过程中遇到的问题


第一次校验通过24个代理可用,第二次只有18,中间耗时4s

IP代理池的组成以及搭建过程中遇到的问题


20次校验后,得到的可用代理只有13个

IP代理池的组成以及搭建过程中遇到的问题


由于项目校验可用代理延时为1分钟,最初可用代理76个。当我使用脚本校验20次后,可用的只有13个。意味着在这段时间内,可用的稳定的代理只有13/76,不到20%的稳定率。

在实际使用中,不管使用何种代理,校验都是必不可少的,但是不到20%的代理可用,这会对爬虫造成巨大的干扰,至少在我看来,在这种机制下,校验的IP还具有很大的提升空间。

解决问题的思路:

由于是爬取其他网站的活动代理,我们并不在乎我们单位时间的请求数,只需要在当下的代理可用即可。解决核心:76个IP其实还不如5个较为稳定的IP,我们如何让这76个IP变成5个可用的稳定的IP成为这个项目可以应用在实际工程中的核心。

总的来说通过代理绕过很多网站的确是很好的办法,但是高端的反爬虫越来越依托于秘钥校验等等,硬实力越来越重要。代理永远都只是一个工具,爬虫工程师的核心永远都是自己的对抗能力。不过找代理,可以找机灵代理。


相关文章内容简介
推荐阅读
  • 13 2019-11
    谈谈代理IP与网络营销的关系

    代理IP是怎么跟网络营销扯上关系的?不少企业利用网络来做推广的时候,像投票、群发、发帖、助力等形式都是需要大量的IP才能够运作起来的,使用代理IP就能够很好的提高工作效率。

  • 07 2020-07
    高质量代理IP的一些特点

    对于用户来说,代理IP的质量可谓是举足轻重,只有拥有了高质量的代理IP,它们才能保证自己的工作效率。因此,选择正确的IP代理商,使用高质量的代理IP池对他们来说十分重要。市面上总有

  • 15 2019-04
    http代理的含义和作用科普

    http代理的含义和作用科普,爬虫是需要使用到http代理的,一些商家刷单也会使用到http代理,或者是刷广告,或者是刷票,刷流量等等,这些都是要使用http代理的,可见作用非常多。

  • 15 2019-05
    免费IP代理能用多久?

    免费IP代理能用多久?这一点大家有没有关注?很多代理商家都会提供免费IP代理,这些都是有限制的,比如一天提供多少,或者免费多长时间。

  • 06 2019-12
    优秀的代理IP公司是什么样子的?

    网络上面我们可以看到很多不同的代理IP广告,点击进入可以看到不同的公司企业提供的服务,那么我们可以怎么去判断这些企业的资质呢?

  • 13 2019-12
    如何选择高质量代理?

    如何选择高质量代理?代理ip​可以帮助我们快速更换ip地址,从而能够辅助我们的工作和业务的开展,高效率高质量的代理ip则是我们开展工作的重要前提,如今市面上的代理ip如此之多,我们该

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部