您的位置:首页 > 新闻资讯 >文章内容
获取网上高匿代理IP代码分享
来源:互联网 作者:admin 时间:2019-04-10 14:49:48

  获取网上高匿代理IP代码分享:当你需要在同一个网站爬取大量信息的时候,通常你会遇到各种各种各样的阻挠,其中一种就是IP被封,这时代理IP就成了我们不二的选择,我们下面的IP来源于国内髙匿代理IP网站,可以是免费的,也可以是收费的。


  今天介绍的是获取免费的代理IP,代码如下:


获取网上高匿代理IP代码分享


#功能:1,将ip_list中的IP写入IP.txt文件中  
#      2,获取随机IP,并将随机IP返回  
def get_random_ip(ip_list):  
    proxy_list = []  
    for ip in ip_list:  
        proxy_list.append('http://' + ip)  
        f=open('IP.txt','a+',encoding='utf-8')  
        f.write('http://' + ip)  
        f.write('\n')  
        f.close()  
    proxy_ip = random.choice(proxy_list)  
    proxies = {'http': proxy_ip}  
    return proxies  
  
if __name__ == '__main__':    
    for i in range(1,40):
        url = 'http://www.xicidaili.com/wt/{}'.format(i) 
        headers = {  
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'  
        }  
        ip_list = get_ip_list(url, headers=headers)  
        proxies = get_random_ip(ip_list)  
        print(proxies)

  需要注意的一点是proxies的格式是一个字典:{‘http’: ‘http://42.84.226.65:8888‘}


  以上就是关于获取网上高匿代理IP代码分享了,如果不知道怎么抓取免费代理IP,可以参考下,仅供参考,或许在此过程中会遇到一些问题的。

相关文章内容简介
推荐阅读
  • 05 2019-05
    怎么挑选一款换ip软件?

    怎么挑选一款换ip软件?为什么要选换IP软件?其实我们的电脑等设备,连接网络时都需要IP地址,这个地址的作用就是用来断定这台电脑的位置。用ADSL等方法拨号上网的时分,每一次拨号取得的I

  • 17 2019-06
    有没有好用的代理IP做数据采集

    有没有好用的代理IP做数据采集?因为爬虫去抓取数据的话,对代理IP的要求要相对高些,不然老是被拦住,采集不到,这就麻烦了。因此,找个好用的代理IP是非常重要的,而且还不好找。

  • 03 2019-08
    爬虫切换代理IP几行代码即可

    爬虫切换代理IP几行代码即可!话说某天心血来潮想到一个问题,朋友圈里面经常有人发投票链接,让帮忙给XX投票,以前呢会很自觉打开链接帮忙投一票。可是这种事做多了就会考虑能不能使

  • 19 2019-03
    网站反爬虫遍布,代理IP是突破防线的好办法

    如今这个网络发达的时代,不管是反爬虫还是网络爬虫,都是遍布网络的每个角落,网站为了保护好自己的网站服务器,使用反爬虫拦截是自然的,若是要进行数据的采集,一般也是出动网络爬

  • 28 2019-08
    如何检验代理IP有效性?

    代理,也称网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。对于一些资深互联网玩家来说使用代理IP并不

  • 28 2019-11
    手机设置代理IP教程

    好像看到介绍电脑使用代理IP的教程比较多,那么手机要怎么使用代理IP呢?现在大家都使用手机上网比较频繁,手机上要怎么设置代理IP,我们一起来看看要如何操作。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部