您的位置:首页 > 新闻资讯 >文章内容
代码分享:验证代理IP的有效性
来源:互联网 作者:admin 时间:2019-04-13 13:55:00

找到代理IP时,首先要先去验证下,看看这商家的代理IP质量怎么样,比如机灵代理这类的商家都是提供全国的IP,其中的IP效果也不知道,最好是先验证下,了解IP的质量情况。


代码分享:验证代理IP的有效性

验证代理IP的有效性代码分享:


import pandas as pd
import numpy as np
import requests
import time

df = pd.read_csv('ip.csv', header=None, names=["ip""port""anonymous""proxy_type""speed"])

proxy_types = ["{}".format(i) for i in np.array(df['proxy_type'])]
ips = ["{}".format(i) for i in np.array(df['ip'])]
ports = ["{}".format(i) for i in np.array(df['port'])]

proxy_url = ['{0}://{1}:{2}'.format(proxy_types[i], ips[i], ports[i]) for i in range(len(ips))]

proxy_type = ['{}'.format(i) for i in proxy_types]
for i in range(200):
    time.sleep(1)
    proxies = {
        proxy_type[i]: proxy_url[i]
    }
    try:
        response = requests.get('http://www.quanben9.com/', proxies=proxies)
    except Exception as e:
        print('invalid ip and port')
    else:
        code = response.status_code
        if code == 200:
            print('effective ip')
            with open('effective_ip.csv''a+', encoding='utf-8-sig'as f:
                f.write(proxy_type[i] + ',' + proxy_url[i] + '\n')
        else:
            print('invalid ip and port')


通过验证发现大部分都能用,如果不知道真的假的。大家也可以测试看看的。

验证代理IP的有效性并不难的,按着步骤走就行了,以上仅供参考的。


相关文章内容简介
推荐阅读
  • 01 2019-08
    不用代理ip可以爬数据吗?

    不用代理ip可以爬数据吗?爬虫作为快速爬取的程序,很多人都是会帮爬虫加上代理ip的,这需要加上不少的成本,那么能不能不用代理ip呢?

  • 12 2019-02
    换IP要注意哪些问题?如何解决呢?

    我们在换IP的过程中,很容易出现问题,常见的有806、807错误,这代表什么问题?如何解决呢?下面跟小编一起去了解下。

  • 20 2019-03
    JavaScript渲染的网页,为什么使用IP代理也获取不了

    JavaScript渲染的网页,为什么使用IP代理也获取不了?网站有静态页面,也有动态页面,这经过JavaScript渲染的网页,我们在抓取的时候并没有那么顺利,即使使用了代理IP来突破限制,也不行。那

  • 04 2020-02
    哪些行业需要HTTP代理IP

    HTTP代理IP相信大家已经都不陌生了,它在很多人的工作中是非常重要的存在。只有了解了对手、客户的想法,才能让自己的工作更加明确。

  • 14 2020-01
    为何代理ip需要白名单

    现在代理IP服务商提供的IP大部分都需要绑定IP授权,也就是所谓的添加白名单,很多朋友都问能不能不要绑定IP,我有几十台或者100台服务器要使用呢,这样只能绑定几个IP根本满足不了我的要

  • 25 2019-12
    高匿代理有哪些功能?

    高匿代理有哪些功能?高匿IP代理这种工具,能够对访问的远端服务器隐藏原本的原始IP,ip代理的高匿名性是通过非常规的技术手段这种方式,直接将代理ip地址运管用于用户端,从而达到高匿名

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部