您的位置:首页 > 新闻资讯 >文章内容
用Python爬取IP代理使用
来源:互联网 作者:admin 时间:2019-04-29 11:04:40

  用Python爬取IP代理使用,这是很多初学爬虫的人员经常的做法,因为不需要花钱,也可以从实践中学到知识,还可以用于爬取项目,一举三得,故一般初学者都是这个套路的。下面介绍下用Python爬取IP代理使用的一些方法:


  这个是获取ip代理的文件,我将它们模块化,分为三个函数


用Python爬取IP代理使用

用Python爬取IP代理使用

用Python爬取IP代理使用



  一、getIP(url_target):主要函数 传入参数是:验证IP代理可用性的网址,推荐ipchina


  获取IP代理,找一个提供免费IP代理的网站,但是里面的IP不是全都能用,而且结合你的实际地理位置、网络情况、访问的目标服务器等情况,能用的大概不到20%,至少我的情况是这样。


  访问提供免费IP代理的网站使用正常方式,返回的网页内容通过正则查询获得需要的IP和对应端口,代码如下:


用Python爬取IP代理使用


  关于如何构造正则表达式,可以参考其他的文章:


  获取的IP保存在findIP中,对应的端口在findPORT中,两者按索引对应,获取一页IP正常数量为100.


  接下来进行IP和端口拼接


  最后进行可用性检查


  二、check_one(url_check,i):线程函数


  本次访问url_check还是使用正常方式访问,当访问网页有返回时,则说明本IP代理可用,则记录下当前索引值,用于后面将所有可用IP取出。


  三、mul_thread_check(url_mul_check):多线程生成


  本函数开启多线程检查IP代理可用性,每个IP开启一个线程进行检查。


  本工程直接调用getIP(),并传入用于检查可用性的网址,即可返回一个列表,里面是经可用性检查的ip列表,格式为


  ['ip1:port1','ip2:port2',....]


  以上介绍了用Python爬取IP代理使用的方法,仅供参考的。如果觉得抓取过于麻烦,可以直接使用付费IP代理的,比如机灵代理,质量还不错的,可以去试试的。


相关文章内容简介
推荐阅读
  • 11 2019-01
    哪个代理IP好用?推荐效果不错的代理IP

    很多人商家都想刷单,但又担心多刷回导致IP被封;做网络营销推广的人也担心发帖太多而导致IP地址被封,更害怕账号都被封了等等,网络的发展,许多人的工作都需要使用换IP工具,代理IP就

  • 14 2019-05
    IP代理在爬虫抓取中的作用

    IP代理在爬虫抓取中的作用大吗?我们都知道爬虫抓取可能被限制的,比如说我们经常在做数据爬取过程中遇到这样的情况:

  • 26 2019-03
    使用休闲平台进行代理服务是怎样操作运营的?

    所谓的休闲平台也是代理服务器的一种,而他到底是如何使用的还是需要大家了解之后才能够知道。毕竟服务器的使用对于企业的各大网站来说是必不可少的,而对于那些想要成为开发者的初级

  • 01 2019-06
    代理IP有共享IP和独享IP之分

    代理IP有共享IP和独享IP之分,至于使用的区别,或者优缺点,其实很明显的。

  • 04 2019-05
    访问下载使用代理IP可以破限制

    访问下载使用代理IP可以破限制,因此一些用户在上网的时候常常会使用代理IP的,目前代理的使用价格并不贵的,使用的用户比较多,即使是普通的上网下载,或者是看视频之类的都使用使用

  • 20 2019-06
    解决IP被封的长久有效办法

    解决IP被封的长久有效办法,都有哪些?IP被封,这是很多人都遇到的问题,平常偶尔换个IP还可以,但如果需要长久的解决这个问题,有没有什么方法呢?

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961