找到代理IP时,首先要先去验证下,看看这商家的代理IP质量怎么样,比如机灵代理这类的商家都是提供全国的IP,其中的IP效果也不知道,最好是先验证下,了解IP的质量情况。
验证代理IP的有效性代码分享:
import pandas as pd
import numpy as np
import requests
import time
df = pd.read_csv('ip.csv', header=None, names=["ip", "port", "anonymous", "proxy_type", "speed"])
proxy_types = ["{}".format(i) for i in np.array(df['proxy_type'])]
ips = ["{}".format(i) for i in np.array(df['ip'])]
ports = ["{}".format(i) for i in np.array(df['port'])]
proxy_url = ['{0}://{1}:{2}'.format(proxy_types[i], ips[i], ports[i]) for i in range(len(ips))]
proxy_type = ['{}'.format(i) for i in proxy_types]
for i in range(200):
time.sleep(1)
proxies = {
proxy_type[i]: proxy_url[i]
}
try:
response = requests.get('http://www.quanben9.com/', proxies=proxies)
except Exception as e:
print('invalid ip and port')
else:
code = response.status_code
if code == 200:
print('effective ip')
with open('effective_ip.csv', 'a+', encoding='utf-8-sig') as f:
f.write(proxy_type[i] + ',' + proxy_url[i] + '\n')
else:
print('invalid ip and port')
通过验证发现大部分都能用,如果不知道真的假的。大家也可以测试看看的。
验证代理IP的有效性并不难的,按着步骤走就行了,以上仅供参考的。
想要做到隐藏自己的IP地址,我们需要根据代理IP不同的匿名程度来进行选择才行。不然是无法真正做到隐藏真实IP的,因为根据匿名级别的不同,IP的匿名能力也会不同。
互联网时代下的爬虫技术,已经成为越来越多人的学习工具。想要了解爬虫,机灵代理今天为大家介绍爬虫的知识,让大家可以从基础开始入门。
代理IP的匿名度会影响稳定性吗?我们知道,代理分为透明代理、普通匿名代理和高级匿名代理三种,有很多朋友疑问:高级匿名代理是否比普通匿名代理更稳定,普通匿名是否比透明代理更稳
代理IP用什么地区的好?代理有地区之分的,像机灵代理拥有全国200多城市的IP线路,也就是说有些地区有代理也有地区没有,这是为什么呢?代理IP用什么地区的好?
为什么爬虫需要大量的ip地址来配合爬取数据?如果需要代理ip,国内代理服务器怎样呢?
网络营销投票是经常用到的一个方式,但是由于受到IP的限制,往往一个IP只能够投一次票。如果大家想要实现多次投票,那么就需要对IP地址进行变换才行。以下是几种经过验证可用的方法。