您的位置:首页 > 新闻资讯 >文章内容
获取网上高匿代理IP代码分享
来源:互联网 作者:admin 时间:2019-04-10 14:49:48

  获取网上高匿代理IP代码分享:当你需要在同一个网站爬取大量信息的时候,通常你会遇到各种各种各样的阻挠,其中一种就是IP被封,这时代理IP就成了我们不二的选择,我们下面的IP来源于国内髙匿代理IP网站,可以是免费的,也可以是收费的。


  今天介绍的是获取免费的代理IP,代码如下:


获取网上高匿代理IP代码分享


#功能:1,将ip_list中的IP写入IP.txt文件中  
#      2,获取随机IP,并将随机IP返回  
def get_random_ip(ip_list):  
    proxy_list = []  
    for ip in ip_list:  
        proxy_list.append('http://' + ip)  
        f=open('IP.txt','a+',encoding='utf-8')  
        f.write('http://' + ip)  
        f.write('\n')  
        f.close()  
    proxy_ip = random.choice(proxy_list)  
    proxies = {'http': proxy_ip}  
    return proxies  
  
if __name__ == '__main__':    
    for i in range(1,40):
        url = 'http://www.xicidaili.com/wt/{}'.format(i) 
        headers = {  
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'  
        }  
        ip_list = get_ip_list(url, headers=headers)  
        proxies = get_random_ip(ip_list)  
        print(proxies)

  需要注意的一点是proxies的格式是一个字典:{‘http’: ‘http://42.84.226.65:8888‘}


  以上就是关于获取网上高匿代理IP代码分享了,如果不知道怎么抓取免费代理IP,可以参考下,仅供参考,或许在此过程中会遇到一些问题的。

相关文章内容简介
推荐阅读
  • 28 2019-02
    HTTP代理IP哪个比较好用

    在现在这个社会,网络迅速发展,代理IP迅速崛起,不管国内还是国外,用户们都可以随时随地得使用代理IP。

  • 16 2019-10
    手机要怎么更换IP?

    现在手机的功能非常强大了,很多的工作都可以借助手机就可以完成,从pc端到移动端,我们的工作生活正在进行改变。那么,对于从事网络营销的人员,手机IP地址的切换就变得非常必要了。

  • 30 2019-05
    代理IP什么时候检测有效性好

    代理IP什么时候检测有效性好?不是所有的代理IP中的IP都是有效的资源,尤其是免费的,百分之九十以上都是不可用的。因此我们需要检测代理IP的有效性,看看这些IP是否可用。

  • 19 2019-08
    业内有哪几种代理IP授权方式?

    在网络上进行搜索,可以发现有不少代理IP商,但是不同的IP代理也有不同的服务方式。有些代理IP打着免费的旗号吸引客户,或是减少授权流程,客户拿到IP就直接使用,这种操作看似便捷,实

  • 25 2019-03
    微信投票有漏洞,很多人利用代理IP进行刷票

    没有什么服务器是没有漏洞的,只看你有没有发现,或者是防御措施做得如何。既然是有漏洞的,就很有可能会被他人进行利用,比如微信投票,也是会存在刷票的情况出现。这是为什么呢?我

  • 21 2020-01
    ip代理如何测试效果?

    现如今,我们使用代理ip越来越多,市场是上的代理服务商也越来越多,那么我们如何测试代理的效果呢?请看下面的介绍。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部