您的位置:首页 > 新闻资讯 >文章内容
筛选免费代理ip中可以能用的IP
来源:互联网 作者:admin 时间:2019-04-11 13:52:55

  我们筛选免费代理ip中可以能用的IP,这个问题难不难解决呢?就目前来说,免费代理ip网站还是有非常多的,从网上一搜大把。


  能提供免费代理ip的网站有包国内的和国外的,但是因为免费,所以可用率低到不行,因此获取之后再筛选是免不了的。


  ip代理可以从各种网站上抓取,放到数据库中。


筛选免费代理ip中可以能用的IP


  当一个ip地址被封时(检测response中的状态码),从数据库中取出一条新的ip使用。


  同时数据库中的ip代理要定时检测是否可用,不可用的ip代理要及时删除。


  判断ip代理是否可用:


  使用该ip代理来访问一个网址,比如百度的首页,如果response中的状态码为200.说明可以正常访问,则该ip代理是可用的,否则是不可用的。


  另外也可以通过发送requests请求来进行ip的有效性检测:


    #验证ip,返回True/False值

    def verifyIP(self,proxy):

        print('开始判断{}的有效性'.format(proxy))

        try:

            #设置ip

            proxies = {'{}'.format(self.ip_stype):proxy}

            #设置headers

            headers = {'User-Agent':str(UserAgent().random)}

            #发生requests请求

            req = requests.get(self.url, headers=headers, proxies=proxies, verify=False, timeout=(6,14))

        except Exception as e:

            print('{}代理ip无效'.format(proxies))

            print('在检验过程中遇到的requests错误原因是:{}'.format(e))

            return False

        else:

            print('{}代理ip有效'.format(proxies))

            return True

        finally:

            print('{}代理ip有效性判断完成'.format(proxies))


  筛选免费代理ip中可以能用的IP有几种方法,上文仅是介绍IP访问检测,以及requests请求检测。如果对免费代理IP不感兴趣,可以找机灵代理,付费模式的代理IP效果会更好的,也无需经过复杂的检测再使用。


相关文章内容简介
推荐阅读
  • 03 2019-07
    支持API批量提取的IP代理

    找家支持API批量提取的IP代理,能够直接提取效率会快很多,那么市场上有没有呢?

  • 29 2019-04
    构建代理ip池的IP来源途径

    构建代理ip池的IP来源途径有哪些?使用爬虫程序都免不了出现问题的,有时候爬得正高兴呢,出现了一连串错误信息,查看后发现因为爬取太过频繁,被网站封了ip,那时起就有了构建代理ip池

  • 12 2019-04
    http代理可以通过API提取IP吗?

    http代理可以通过API提取IP吗?有时我们使用代理IP的时候,都想能不能再快点提取,一个一个来太慢了,有没有什么方法可以批量提取的呢?

  • 29 2019-05
    换IP刷点击量的软件

    换IP刷点击量的软件有效果吗?做网站优化的人都知道,网站的实际内容是你网络优化策略的一个重要的因素,如果你想你的网站能在搜索结果中排得靠前,就必须在你的网站中有实际的内容,

  • 29 2019-05
    IP地址是否对网络速度有影响

    获取IP时,有时连接到WiFi非常慢,使用这自动获取IP的动态IP上网网速是不是很慢呢?动态IP和静态IP哪个网速快?IP地址是否对网络速度有影响?

  • 26 2019-04
    IP代理解决高频率抓取问题

    我们通过使用IP代理解决高频率抓取问题,因为在爬虫的抓取中,如果抓取频率高过了网站的设置阀值,你就会获取到503或者403等响应,将会被禁止访问。通常,网站的反爬虫机制都是依据IP来

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961