您的位置:首页 > 新闻资讯 >文章内容
爬虫爬取要设置代理IP
来源:互联网 作者:admin 时间:2019-05-24 12:07:00

    爬虫爬取要设置代理IP,这是必须的事情,不然突破不了IP限制,自然也就爬取不了了。或者爬一下就停一下,或者控制爬取的频率,不过这些都不是长久之计。


    因为高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP。


    这里介绍一下免费获取代理IP的方法,这个方法的优点就是免费,但是缺点就是爬取后存在很多不能用的


    IP地址取自国内髙匿代理IP网站,一般上我们爬取首页IP地址就足够一般使用,或者你也可以爬取第一页,第二页…的


    安装requests库安装bs4库安装lxml库


    话不多说直接上代码吧


爬虫爬取要设置代理IP


    函数get_ip_list(url, headers)传入url和headers,最后返回一个IP列表,列表的元素类似122.114.31.177:808格式,这个列表包括国内髙匿代理IP网站首页所有IP地址和端口


    函数get_random_ip(ip_list)传入第一个函数得到的列表,返回一个随机的proxies,这个proxies可以传入到requests的get方法中,这样就可以做到每次运行都使用不同的IP访问被爬取的网站,有效地避免了真实IP被封的风险


    proxies的格式是一个字典:{‘http’: ‘http://122.114.31.177:808‘},可以将下面的执行也封装为方法


    对于抓取IP这个,犀牛代理服务器做了反爬处理,如果你频繁去抓取的话,服务器会主动返回503错误,提示block,所以在请求的时候可以先一次请求完保存一个文件,来读取这个文件,或者爬取一个ip使用几分钟后,再去爬取一次,相当于加一个定时功能


    运行上面的代码会得到一个随机的proxies,把它直接传入requests的get方法中即可


    这里想提醒的是,免费的代理IP稳定性还需要商榷,建议如何是大量的进行信息爬取的话还是购买一些代理IP比较好,像机灵代理这类的还不错,能够直接提取大量的IP使用。


    经过上文的学习,大家知道爬虫爬取要设置代理IP,获取免费代理IP的方法也给大家介绍了,如果觉得不好用,就要用付费的了,例如机灵代理这样的也可以的。


相关文章内容简介
推荐阅读
  • 08 2019-05
    爬取目标网站要准备http代理和用户代理

    爬取目标网站要准备http代理和用户代理,此外,还需要其他一些准备工作,比如应对cookie,还有Referer之类的,如果没有做好这些措施,结果肯定是不理想的,有一个地方被拦截了,也是会影响

  • 25 2019-02
    关于爬虫遇到的各种限制问题

    爬虫被禁IP这是个非常常见的问题,应对的方法也唯有换IP了,不然怎么也避免开这IP被封的情况。除了IP被封外,爬虫还是会遇到其他的问题,若是不能成功的伪装过去,那么被发现是迟早的事

  • 15 2019-07
    国内最大的http代理服务商

    国内最大的http代理服务商是哪家?这是估计大家都是不知道的,因为很多商家也在不断的更新城市线路,很多企业的实力都非常厉害。

  • 03 2019-09
    如何判断代理IP的匿名性?

    代理IP是有多种匿名方式的,当然这也是由不同的价格档次决定的。那么,我们在使用代理IP的时候,怎么知道自己购买的IP就真的如同服务商所言,没有受到欺骗呢?虽然检测方式需要由一定的

  • 15 2019-04
    高匿代理ip能防止别人查看你的IP地址吗?

    高匿代理ip能防止别人查看你的IP地址吗?网络确实给我们带来了许多的便利,但是隐患也是有的,如信息的泄露,这信息泄露后对于普通人来说是没有影响的,若是有些人拿来牟利,这对我们

  • 09 2019-09
    代理IP知识:私有IP与公有IP的区别

    私有IP是什么?公有IP又是什么?为什么IP也能够划分为公有跟私有的呢?在我们使用代理IP的时候,会与不同的IP打交道,如果想要了解更加透彻,那么我们需要从头开始进行了解,从IP开始认识。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部