您的位置:首页 > 新闻资讯 >文章内容
获取网上高匿代理IP代码分享
来源:互联网 作者:admin 时间:2019-04-10 14:49:48

  获取网上高匿代理IP代码分享:当你需要在同一个网站爬取大量信息的时候,通常你会遇到各种各种各样的阻挠,其中一种就是IP被封,这时代理IP就成了我们不二的选择,我们下面的IP来源于国内髙匿代理IP网站,可以是免费的,也可以是收费的。


  今天介绍的是获取免费的代理IP,代码如下:


获取网上高匿代理IP代码分享


#功能:1,将ip_list中的IP写入IP.txt文件中  
#      2,获取随机IP,并将随机IP返回  
def get_random_ip(ip_list):  
    proxy_list = []  
    for ip in ip_list:  
        proxy_list.append('http://' + ip)  
        f=open('IP.txt','a+',encoding='utf-8')  
        f.write('http://' + ip)  
        f.write('\n')  
        f.close()  
    proxy_ip = random.choice(proxy_list)  
    proxies = {'http': proxy_ip}  
    return proxies  
  
if __name__ == '__main__':    
    for i in range(1,40):
        url = 'http://www.xicidaili.com/wt/{}'.format(i) 
        headers = {  
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'  
        }  
        ip_list = get_ip_list(url, headers=headers)  
        proxies = get_random_ip(ip_list)  
        print(proxies)

  需要注意的一点是proxies的格式是一个字典:{‘http’: ‘http://42.84.226.65:8888‘}


  以上就是关于获取网上高匿代理IP代码分享了,如果不知道怎么抓取免费代理IP,可以参考下,仅供参考,或许在此过程中会遇到一些问题的。

相关文章内容简介
推荐阅读
  • 02 2021-04
    什么人需要换ip软件

    如今网络集成了很多人的赚钱工具,在这样一个飞速发展的时代里,如何能够利用好网络的力量成了很多人是否能够制胜的关键。很多人靠着对网络的了解慢慢的从网络当中获得了自己成长的力

  • 25 2019-09
    使用代理IP制作刷票系统(上)

    投票大家都不陌生吧,经常看到有人将投票链接甩到微信群上,发红包要大家投票,要不是因为投票有IP的限制,大家求投票的姿势也不用那么卑微。那么,有没有什么办法能够突破这个限制来

  • 18 2019-06
    独享IP池比共享IP池好么?

    独享IP池比共享IP池好么?目前来说固有的IP数量满足不了日益增长的IP需求,所以现在大家用的基本都是共享代理IP池。不过还有独享代理IP的,是不是独享IP池比共享IP池好么?

  • 22 2020-09
    ip代理软件的作用比较多

    ip代理软件的作用比较多,主要是网络爬虫来使用,对于这个爬虫是如何解决ip代理软件的问题呢?如果使用的是免费ip代理软件,我们是怎么抓取的,又是如何检测的呢?要获得有效的免费ip代

  • 23 2019-04
    选择HTTP代理,要考虑下连接速度、稳定、数量问题

    选择HTTP代理,要考虑下连接速度、稳定、数量问题,为什么这么说呢?因为这些因素都会影响到我们使用的效果,影响到最终的工作,这自然是要重视的。下面我们就来看看这几个方面的情况

  • 23 2020-01
    批量注册就用代理ip

    在我们做一些网络推广时通常需要许多的账号辅助,比如微信投票,需要大量的微信账号;比如论坛发帖,由于论坛限制每天每账号只能发限定数量的帖子,就需要用到大量的账号;比如人气补量

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部