您的位置:首页 > 新闻资讯 >文章内容
代码分享:验证代理IP的有效性
来源:互联网 作者:admin 时间:2019-04-13 13:55:00

找到代理IP时,首先要先去验证下,看看这商家的代理IP质量怎么样,比如机灵代理这类的商家都是提供全国的IP,其中的IP效果也不知道,最好是先验证下,了解IP的质量情况。


代码分享:验证代理IP的有效性

验证代理IP的有效性代码分享:


import pandas as pd
import numpy as np
import requests
import time

df = pd.read_csv('ip.csv', header=None, names=["ip""port""anonymous""proxy_type""speed"])

proxy_types = ["{}".format(i) for i in np.array(df['proxy_type'])]
ips = ["{}".format(i) for i in np.array(df['ip'])]
ports = ["{}".format(i) for i in np.array(df['port'])]

proxy_url = ['{0}://{1}:{2}'.format(proxy_types[i], ips[i], ports[i]) for i in range(len(ips))]

proxy_type = ['{}'.format(i) for i in proxy_types]
for i in range(200):
    time.sleep(1)
    proxies = {
        proxy_type[i]: proxy_url[i]
    }
    try:
        response = requests.get('http://www.quanben9.com/', proxies=proxies)
    except Exception as e:
        print('invalid ip and port')
    else:
        code = response.status_code
        if code == 200:
            print('effective ip')
            with open('effective_ip.csv''a+', encoding='utf-8-sig'as f:
                f.write(proxy_type[i] + ',' + proxy_url[i] + '\n')
        else:
            print('invalid ip and port')


通过验证发现大部分都能用,如果不知道真的假的。大家也可以测试看看的。

验证代理IP的有效性并不难的,按着步骤走就行了,以上仅供参考的。


相关文章内容简介
推荐阅读
  • 11 2019-01
    哪些语言可以写网络爬虫?Scrapy框架值得作为第一选择

    在这个大数据时代,许多企业都使用网络爬虫来采集信息,这网络爬虫可以使用语言来编写呢?哪一个语言编写网络爬虫的效果最好?现在的编程语言可不少,比如Python、PHP、c#和Java等的,最常

  • 16 2019-07
    自建ADSL拨号代理服务器划算吗?

    自建ADSL拨号代理服务器划算吗?许多人真的是忍受够了免费代理,老是出问题,那么自建ADSL拨号代理服务器怎样呢?成本高吗?是否划算?

  • 16 2019-02
    爬虫使用代理IP后,还遇到IP问题怎么处理

    对爬虫来说,由于爬虫爬取速度过快,在爬取过程中可能会遇到同一个IP访问过于频繁的问题,网站就会让我们输入验证码或登录或直接封锁IP,这样会给爬取带来极大的不便。

  • 19 2019-03
    反反爬虫如何使用代理ip?

    反反爬虫为了应对网站的反爬虫,要浑身解数,找到漏洞,还要找到突破的方法,小编今天介绍个非常好用的工具,就是代理IP了。

  • 13 2019-05
    代理IP匿名属性的选择

    代理IP匿名属性的选择,代理IP除了要求质量之外,还需要对匿名程度有要求。根据匿名程度进行分类,可分为透明代理IP,普通匿名代理IP和高级匿名代理IP。

  • 27 2019-03
    代理服务怎样才能够做到多平台自动切换?

    现在代理服务是越来越被各大企业所接受,尤其是各大企业上的网站为了保证其流量以及服务器的稳定性,只能通过服务器代理来维持网站的正常运营,那么现在优质的IP代理服务,是怎样才能

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961