您的位置:首页 > 新闻资讯 >文章内容
筛选免费代理ip中可以能用的IP
来源:互联网 作者:admin 时间:2019-04-11 13:52:55

  我们筛选免费代理ip中可以能用的IP,这个问题难不难解决呢?就目前来说,免费代理ip网站还是有非常多的,从网上一搜大把。


  能提供免费代理ip的网站有包国内的和国外的,但是因为免费,所以可用率低到不行,因此获取之后再筛选是免不了的。


  ip代理可以从各种网站上抓取,放到数据库中。


筛选免费代理ip中可以能用的IP


  当一个ip地址被封时(检测response中的状态码),从数据库中取出一条新的ip使用。


  同时数据库中的ip代理要定时检测是否可用,不可用的ip代理要及时删除。


  判断ip代理是否可用:


  使用该ip代理来访问一个网址,比如百度的首页,如果response中的状态码为200.说明可以正常访问,则该ip代理是可用的,否则是不可用的。


  另外也可以通过发送requests请求来进行ip的有效性检测:


    #验证ip,返回True/False值

    def verifyIP(self,proxy):

        print('开始判断{}的有效性'.format(proxy))

        try:

            #设置ip

            proxies = {'{}'.format(self.ip_stype):proxy}

            #设置headers

            headers = {'User-Agent':str(UserAgent().random)}

            #发生requests请求

            req = requests.get(self.url, headers=headers, proxies=proxies, verify=False, timeout=(6,14))

        except Exception as e:

            print('{}代理ip无效'.format(proxies))

            print('在检验过程中遇到的requests错误原因是:{}'.format(e))

            return False

        else:

            print('{}代理ip有效'.format(proxies))

            return True

        finally:

            print('{}代理ip有效性判断完成'.format(proxies))


  筛选免费代理ip中可以能用的IP有几种方法,上文仅是介绍IP访问检测,以及requests请求检测。如果对免费代理IP不感兴趣,可以找机灵代理,付费模式的代理IP效果会更好的,也无需经过复杂的检测再使用。


相关文章内容简介
推荐阅读
  • 01 2019-04
    python爬虫遇到301、302状态码怎么回事?

    每个网站的反爬虫机制不一样,而且网站也是有变化的,因此爬虫在爬取的过程中是经常会遇到问题的,今天讲下关于爬虫遇到的301、302的问题。

  • 30 2019-01
    Web爬虫从哪里找大量IP突破限制

    Web爬虫需要抓取大量数据,但另一方不会让我们随意下载此信息,并且各种限制仍在继续,其中最常见的是IP限制。虽然IP限制可能会意外伤害一些真实用户,但它可以有效地控制爬行速度并减

  • 10 2019-09
    什么是socks5协议的TCP认证?

    之前我们了解过socks5代理IP是怎么使用的?这种代理IP类型的使用越来越多,对于程序员而言,更好的了解它的工作原理以及相关知识,能够更加高效的开展工作,那么接下来,让我们解析socks5协

  • 30 2019-07
    新手尝试自建代理IP池使用

    新手尝试自建代理IP池使用,这是如何搭建的呢?需要注意些什么?因为爬虫被禁ip这样的反扒真的很凶,但自从建了一个代理ip池以后,反反扒就可以跟的上节奏。当然你也可以上网上各种代理

  • 28 2019-03
    ip怎么样才不会被检测到?这家高匿名代理好用

    当下这个网络时代,既方便了大家但也带来一定的影响,网络数据传得快,保密性不好,因此有些开始注意保护自己得信息,对于IP地址这一块,大家有什么想法呢?ip怎么样才不会被检测到?

  • 12 2019-11
    使用代理IP能否指定host?

    代理IP的使用过程中,我们会遇到很多的疑问,因为代理IP能够应用在很多方面,不仅仅是可以搭配爬虫程序来使用。今天机灵代理就来为大家解答一个经常被提到的问题:

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部