您的位置:首页 > 新闻资讯 >文章内容
一个免费的异步爬虫代理池
来源:互联网 作者:admin 时间:2019-03-22 18:05:00

  由于网络流量不断增加,而且恶意爬虫遍地,许多网站为了保护自己都设置了大量的反爬虫。对面日益增加的反爬虫技术,网络爬虫要想突破,必须要借用各种的工具,比如代理IP。对于爬虫来说,可能需要大量的代理IP,这需要找到代理IP池使用,那么如何一个免费的异步爬虫代理池呢?


  采用最新最快的Python技术——异步(Async),编写了一个免费的异步爬虫代理池,以Pythonasyncio为基础,充分利用Python的异步性能,异步处理比同步处理能提升成百上千倍的效率,速度堪比GO语言。


  通过爬虫抓取互联网上免费代理网站的IP,并且进行异步检测是否可用,如果可用就放入数据库。定时对数据库中的代理进行维护,然后通过webapi的形式供外部使用。


  可以使用了sanic,一个异步网络框架。所以建议运行Python环境为Python3.5+,并且sanic不支持Windows系统,Windows用户可以考虑使用UbuntuonWindows。


  项目主要几大模块分别是爬取模块,存储模块,校验模块,调度模块,接口模块。


  安装Redis:数据库使用了Redis,Redis是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。所以请确保运行环境已经正确安装了Redis。安装方法请参照官网指南。


  安装依赖:$pipinstall-rrequirements.txt


  使用API获取代理:运行代码后,访问http://127.0.0.1:5000/进入主页,如果显示'Welcome',证明成功启动。


一个免费的异步爬虫代理池


  访问http://127.0.0.1:5000/get可以获取一个可用代理。

一个免费的异步爬虫代理池

  也可以在程序代码中用相应的语言获取,例如:

一个免费的异步爬虫代理池

  Sanic性能测试


  使用wrk进行服务器压力测试。基准测试30秒,使用12个线程,并发400个http连接。测试http://127.0.0.1:3289/


一个免费的异步爬虫代理池


  我们看到了什么?平均每秒钟11387.89个请求,就问你们怕不怕。机器性能更好一下,就是一波DOS攻击了。


  以上介绍了关于一个免费的异步爬虫代理池的搭建思路,如果觉得免费的不好使用,可以付费购买使用的,毕竟还是代理精灵的使用效果好很多,IP质量高,IP有效率在95%以上。


相关文章内容简介
推荐阅读
  • 18 2019-04
    恶意“爬虫”的几个特征,租用IP代理也上黑名单

    恶意“爬虫”的几个特征,租用IP代理也上黑名单。爬虫其实最早是用作搜索引擎的,但也可以作用批量收集信息,有些还被称为恶意“爬虫”,这是为何?

  • 27 2019-06
    HTTP没有HTTPS安全为什么更受欢迎

    HTTP没有HTTPS安全为什么更受欢迎?就连使用HTTP代理的用户也更多,这是为什么呢?

  • 25 2019-04
    代理IP有效时长几分钟能用吗?

    代理IP有效时长几分钟能用吗?一些动态的代理IP,其有效时长通常都是比较短的,大部分都是只能用几分钟,这样的代理IP究竟能不能用了?

  • 09 2019-02
    新手学习爬虫要注意哪些事项

    爬虫虽然比较简单,但不同需求,所要使用的爬虫不同,对于一些难度大的项目,也是要用一些作用更高的爬虫,因为需要突破网站的各种限制,这样才能更好的完成采集任务。

  • 24 2019-06
    遇到封IP用动态IP马上解决

    遇到封IP用动态IP马上解决,因为现在用户的人多了,每个的网络访问量是非常大的,很多网站都对IP进行了限制,增加网站的防御性,预防遭遇攻击。但是这对一些网络推广之外的工作人员来讲

  • 15 2019-04
    大面积封IP,这IP代理还能不能用了?

    大面积封IP,这IP代理还能不能用了?不管你的爬虫代码写得多好,多强壮,如果使用的IP代理不靠谱,还是分分钟被封,大面积的封IP,这基本就没有办法继续爬取的,如果遇到这种情况怎么呢

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部