您的位置:首页 > 新闻资讯 >文章内容
用Python爬取IP代理使用
来源:互联网 作者:admin 时间:2019-04-29 11:04:40

  用Python爬取IP代理使用,这是很多初学爬虫的人员经常的做法,因为不需要花钱,也可以从实践中学到知识,还可以用于爬取项目,一举三得,故一般初学者都是这个套路的。下面介绍下用Python爬取IP代理使用的一些方法:


  这个是获取ip代理的文件,我将它们模块化,分为三个函数


用Python爬取IP代理使用

用Python爬取IP代理使用

用Python爬取IP代理使用



  一、getIP(url_target):主要函数 传入参数是:验证IP代理可用性的网址,推荐ipchina


  获取IP代理,找一个提供免费IP代理的网站,但是里面的IP不是全都能用,而且结合你的实际地理位置、网络情况、访问的目标服务器等情况,能用的大概不到20%,至少我的情况是这样。


  访问提供免费IP代理的网站使用正常方式,返回的网页内容通过正则查询获得需要的IP和对应端口,代码如下:


用Python爬取IP代理使用


  关于如何构造正则表达式,可以参考其他的文章:


  获取的IP保存在findIP中,对应的端口在findPORT中,两者按索引对应,获取一页IP正常数量为100.


  接下来进行IP和端口拼接


  最后进行可用性检查


  二、check_one(url_check,i):线程函数


  本次访问url_check还是使用正常方式访问,当访问网页有返回时,则说明本IP代理可用,则记录下当前索引值,用于后面将所有可用IP取出。


  三、mul_thread_check(url_mul_check):多线程生成


  本函数开启多线程检查IP代理可用性,每个IP开启一个线程进行检查。


  本工程直接调用getIP(),并传入用于检查可用性的网址,即可返回一个列表,里面是经可用性检查的ip列表,格式为


  ['ip1:port1','ip2:port2',....]


  以上介绍了用Python爬取IP代理使用的方法,仅供参考的。如果觉得抓取过于麻烦,可以直接使用付费IP代理的,比如机灵代理,质量还不错的,可以去试试的。


相关文章内容简介
推荐阅读
  • 05 2019-05
    爬取IP代理的经验

    很多人在爬取IP代理的过程中经常会遇到一些问题,比如IP限制,我们也都知道对付反爬虫有一个很关键的方法就是使用IP代理,那么我们应该如何获取这些可用的IP代理呢,今天小编给大家分享

  • 14 2019-06
    遇到封IP用代理ip访问

    遇到封IP用代理ip访问,这是最有效的方法了,不管是做什么,总之如果都是IP限制,封IP,换个IP就能解决问题了。

  • 27 2019-06
    代理IP可以很好隐藏IP地址

    代理IP可以很好隐藏IP地址,当我们连接网络时,使用代理IP可以提供隐私和安全,在使用公共Wi-Fi接入时,这对于浏览网络特别有用,可以很好的隐藏我们的IP地址,使在线操作几乎无法跟踪。

  • 02 2019-04
    刚换上代理IP怎么打不开了?

    日常生活中,经常会遇到突发的事情,工作也不例外。有时候心情美美哒,突然代理IP罢工了,刚换上代理IP怎么打不开了呢?难道会员到期了?还是商家服务器崩溃了?

  • 10 2019-05
    http代理受欢迎的原因

    http代理受欢迎的原因都有哪些?代理逐渐被大家熟悉,有些工作或者生活都需要使用代理,比如在我们浏览网站的时候,有时候会需要代理ip。之所以使用代理ip,是因为我们有时候需要保护自

  • 23 2019-09
    从事网络工作为什么要用代理IP?

    为什么开展互联网工作,做网络营销需要用到代理IP?代理IP在这当中起到的作用是什么呢?

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部