您的位置:首页 > 新闻资讯 >文章内容
获取网上高匿代理IP代码分享
来源:互联网 作者:admin 时间:2019-04-10 14:49:48

  获取网上高匿代理IP代码分享:当你需要在同一个网站爬取大量信息的时候,通常你会遇到各种各种各样的阻挠,其中一种就是IP被封,这时代理IP就成了我们不二的选择,我们下面的IP来源于国内髙匿代理IP网站,可以是免费的,也可以是收费的。


  今天介绍的是获取免费的代理IP,代码如下:


获取网上高匿代理IP代码分享


#功能:1,将ip_list中的IP写入IP.txt文件中  
#      2,获取随机IP,并将随机IP返回  
def get_random_ip(ip_list):  
    proxy_list = []  
    for ip in ip_list:  
        proxy_list.append('http://' + ip)  
        f=open('IP.txt','a+',encoding='utf-8')  
        f.write('http://' + ip)  
        f.write('\n')  
        f.close()  
    proxy_ip = random.choice(proxy_list)  
    proxies = {'http': proxy_ip}  
    return proxies  
  
if __name__ == '__main__':    
    for i in range(1,40):
        url = 'http://www.xicidaili.com/wt/{}'.format(i) 
        headers = {  
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'  
        }  
        ip_list = get_ip_list(url, headers=headers)  
        proxies = get_random_ip(ip_list)  
        print(proxies)

  需要注意的一点是proxies的格式是一个字典:{‘http’: ‘http://42.84.226.65:8888‘}


  以上就是关于获取网上高匿代理IP代码分享了,如果不知道怎么抓取免费代理IP,可以参考下,仅供参考,或许在此过程中会遇到一些问题的。

相关文章内容简介
推荐阅读
  • 29 2019-04
    高效代理IP哪里找呢?

    高效代理IP哪里找呢?需要使用到代理IP的工作有点多,基本都是需要更换IP地址的,不过想更换个IP也不是那么容易的的,这对代理IP的质量有所要求。我们举个例子来看看。

  • 28 2019-05
    爬虫代理隐藏IP可以保护安全

    爬虫代理隐藏IP可以保护安全,这一点是毋庸置疑的,IP是上网的必要条件,没有分配IP地址这些上不了网的。上网的设备都会连接唯一的IP地址,就像我们的身份证一样。如果我们能够隐藏这个

  • 17 2019-09
    动态IP代理时间套餐是什么?

    在我们对代理IP进行选购的时候会发现,会有很多的套餐方案给我们进行选择,不仅可以选择IP类型,匿名程度,还可以选择是按次数购买还是时间购买。那么按时间购买的动态IP是怎么一回事呢

  • 14 2019-04
    免费IP收集起来有用吗?可以充当代理IP使用吗?

    免费IP收集起来有用吗?网上有大量的IP地址,这些IP收集起来之后,可以充当代理IP使用吗?网上的免费代理IP一大堆一大堆的,一般都是比较零散的,怎么收集起来呢?这对于爬虫工作者来说

  • 24 2019-06
    租用http代理怎样?

    租用http代理怎样?如果不租的话,就要自建搭建代理服务器使用的,或者是使用免费的,前者成本过高,还需要持续的维护,对于小企业小项目来讲,这不划算的。

  • 10 2019-08
    代理IP的用处和功能,怎么验证代理IP是否有效

    代理IP的用处和功能,怎么验证代理IP是否有效?代理IP即代理服务器(Proxy Server)是一种重要的安全功能,它的工作主要在开放系统互联(OSI)模型的对话层,从而起到防火墙的作用。代理服务器

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961