您的位置:首页 > 新闻资讯 >文章内容
筛选免费代理ip中可以能用的IP
来源:互联网 作者:admin 时间:2019-04-11 13:52:55

  我们筛选免费代理ip中可以能用的IP,这个问题难不难解决呢?就目前来说,免费代理ip网站还是有非常多的,从网上一搜大把。


  能提供免费代理ip的网站有包国内的和国外的,但是因为免费,所以可用率低到不行,因此获取之后再筛选是免不了的。


  ip代理可以从各种网站上抓取,放到数据库中。


筛选免费代理ip中可以能用的IP


  当一个ip地址被封时(检测response中的状态码),从数据库中取出一条新的ip使用。


  同时数据库中的ip代理要定时检测是否可用,不可用的ip代理要及时删除。


  判断ip代理是否可用:


  使用该ip代理来访问一个网址,比如百度的首页,如果response中的状态码为200.说明可以正常访问,则该ip代理是可用的,否则是不可用的。


  另外也可以通过发送requests请求来进行ip的有效性检测:


    #验证ip,返回True/False值

    def verifyIP(self,proxy):

        print('开始判断{}的有效性'.format(proxy))

        try:

            #设置ip

            proxies = {'{}'.format(self.ip_stype):proxy}

            #设置headers

            headers = {'User-Agent':str(UserAgent().random)}

            #发生requests请求

            req = requests.get(self.url, headers=headers, proxies=proxies, verify=False, timeout=(6,14))

        except Exception as e:

            print('{}代理ip无效'.format(proxies))

            print('在检验过程中遇到的requests错误原因是:{}'.format(e))

            return False

        else:

            print('{}代理ip有效'.format(proxies))

            return True

        finally:

            print('{}代理ip有效性判断完成'.format(proxies))


  筛选免费代理ip中可以能用的IP有几种方法,上文仅是介绍IP访问检测,以及requests请求检测。如果对免费代理IP不感兴趣,可以找机灵代理,付费模式的代理IP效果会更好的,也无需经过复杂的检测再使用。


相关文章内容简介
推荐阅读
  • 08 2019-04
    爬虫配代理IP和UA爬取顺利,绕过反爬虫机制

    网上对于爬虫采集的教程或者是一些讨论都比较多的,如果我们要去爬取一个网站的信息,大家可能最先想的是对方有什么反爬虫机制。是的,这个问题是非常关键的,而且还是必须要解决的。

  • 13 2019-06
    独享代理IP池有什么优势?

    独享代理IP池有什么优势?一样东西,如果是共享的,怎么也会影响到使用,没有那么方便,估计也可能会影响到效果的。那么如果独享呢?我们以代理IP池为例,看看独享代理IP池有什么优势?

  • 15 2019-05
    免费IP代理能用多久?

    免费IP代理能用多久?这一点大家有没有关注?很多代理商家都会提供免费IP代理,这些都是有限制的,比如一天提供多少,或者免费多长时间。

  • 21 2019-09
    代理IP分享Python爬虫技巧

    在我们使用代理IP开展爬虫的时候,会遇到一些使用上的问题以及操作上的问题。那么,Python要怎么才能够使用得得心应手呢?一些必要的知识点跟技巧点自然少不了,所以,机灵代理特意为大家

  • 27 2019-08
    私有IP跟公有IP有什么区别?

    IP这个词我们经常听,但是你知道公有IP是什么吗?私有IP又是怎么一回事?下面跟着机灵代理一起来看看吧,这对我们日后选择代理IP的时候也会所帮助的。

  • 18 2019-10
    IP怎么才能够更加防封?

    单IP如何防封?如果我们总是用同一个IP来反复操作,那么这个IP很容易就会被网站给禁止,因为目前网站通常都设置了反爬虫机制,为的就是防止同一时间段同个IP反复访问的异常现象。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部