您的位置:首页 > 新闻资讯 >文章内容
爬虫用代理IP好还是设置访问时间间隔好?
来源:互联网 作者:admin 时间:2019-05-21 10:56:13

    爬虫用代理IP好还是设置访问时间间隔好?因为每个来访的IP,服务器都是会记录的,如果需要大量的在同一个网站上获取信息,同一个IP一直快速访问,这绝对会被限制的,那么爬虫用代理IP好还是设置访问时间间隔好?


爬虫用代理IP好还是设置访问时间间隔好?


    很多网站的反爬虫机制都设置了访问间隔时间,一个IP如果短时间内超过了指定的次数就会进入“冷却CD”,所以除了轮换IP和user_agent外,一般上还可以设置访问的时间间间隔长一点,比如没抓取一个页面休眠一个随机时间:


    import time,random


    time.sleep(random.random()*3)


    对于一个crawler来说,这是一个比较responsible的做法。


    因为本来爬虫就可能会给对方网站造成访问的负载压力,所以这种防范既可以从一定程度上防止被封,还可以降低对方的访问压力。


    但是这不能解决效率的问题,一般上使用到爬虫来抓取,其数据都不少,如果采取设置访问时间间隔,这效率必定时非常慢的。建议还是使用代理IP的,就像机灵代理,使用之后能够换全国这么多的IP地址,这样每个IP的访问频率就降低下来了,预防被封。


    故,爬虫用代理IP好还是设置访问时间间隔好,这个问题,建议使用代理IP的。


相关文章内容简介
推荐阅读
  • 06 2019-05
    网站换IP有影响吗?

    网站换IP有影响吗?很多网站在运营的过程中,由于各种原因,可能会更换IP地址,或者更换服务器,这都是很正常的,但是这样对网站本身有没有影响呢?

  • 11 2019-06
    Squid配置正反向代理服务器

    Squid配置正反向代理服务器,估计很多人都不知道Squid是指什么?其实Squid是一种用来缓冲Internet数据的软件。

  • 04 2019-07
    动态ip代理可以突破哪些IP限制

    动态ip代理可以突破哪些IP限制?代理的作用不少,主要是充当中间商,为用户获取信息,还可以突破各种关于IP的限制,比如:

  • 01 2019-07
    为什么换IP能提高工作效率?

    为什么换IP能提高工作效率?使用网络工作的人群都知道什么是IP地址,大部分人也经历过访问网站时被限制访问,这IP限制无处不在,这时候就需要更换IP。为什么要换IP呢?今天机灵代理就给

  • 19 2019-04
    代理IP好不好用主要还是看个人需求

    代理IP好不好用主要还是看个人需求,为什么这么说呢?如果单纯从代理IP的质量和流水来讲,这些商家的产品自然是可以分为好几个档次的,但是每个人的项目是不同的,对代理IP的需求也是不

  • 10 2019-06
    代理ip防封效果好吗?

    代理ip防封效果好吗?可能一部分人对代理ip可能是陌生的,没有使用或者了解过代理ip,当然是不知道有什么用。机灵代理就是一个代理ip工具,也就是可以更换全国的ip地址,那么这代理ip防封

在线客服
大客户VIP渠道
点击这里给我发消息
讨论QQ群
HTTP代理IP爬虫
客服电话
13318873961