您的位置:首页 > 新闻资讯 >文章内容
爬虫用代理IP好还是设置访问时间间隔好?
来源:互联网 作者:admin 时间:2019-05-21 10:56:13

    爬虫用代理IP好还是设置访问时间间隔好?因为每个来访的IP,服务器都是会记录的,如果需要大量的在同一个网站上获取信息,同一个IP一直快速访问,这绝对会被限制的,那么爬虫用代理IP好还是设置访问时间间隔好?


爬虫用代理IP好还是设置访问时间间隔好?


    很多网站的反爬虫机制都设置了访问间隔时间,一个IP如果短时间内超过了指定的次数就会进入“冷却CD”,所以除了轮换IP和user_agent外,一般上还可以设置访问的时间间间隔长一点,比如没抓取一个页面休眠一个随机时间:


    import time,random


    time.sleep(random.random()*3)


    对于一个crawler来说,这是一个比较responsible的做法。


    因为本来爬虫就可能会给对方网站造成访问的负载压力,所以这种防范既可以从一定程度上防止被封,还可以降低对方的访问压力。


    但是这不能解决效率的问题,一般上使用到爬虫来抓取,其数据都不少,如果采取设置访问时间间隔,这效率必定时非常慢的。建议还是使用代理IP的,就像机灵代理,使用之后能够换全国这么多的IP地址,这样每个IP的访问频率就降低下来了,预防被封。


    故,爬虫用代理IP好还是设置访问时间间隔好,这个问题,建议使用代理IP的。


相关文章内容简介
推荐阅读
  • 26 2019-09
    代理IP爬虫抓取广告源代码

    代理IP是爬虫的黄金搭配,相信这一点,是每一位经历过爬虫工作的都不会否认的。因为没有代理IP的协助,爬虫程序就会被网站的反爬虫给KO掉。

  • 29 2019-03
    批量养号中使用代理IP会起到哪些效果?

    做营销推广,多账号使用是常事来着,对于这些账号的使用,大家有没有什么心得呢?如果避免账号被封?批量养号中使用代理IP会起到哪些效果?

  • 10 2019-06
    代理ip防封效果好吗?

    代理ip防封效果好吗?可能一部分人对代理ip可能是陌生的,没有使用或者了解过代理ip,当然是不知道有什么用。机灵代理就是一个代理ip工具,也就是可以更换全国的ip地址,那么这代理ip防封

  • 21 2019-09
    代理IP教你爬虫如何进行Excel的储存与读取

    基础爬虫在代理IP的帮助之下,一些小型的项目是可以没有压力轻松开展的,但是python编程语言还是需要进行学习才能帮助我们在遇到不同的情况,去做正确的调试操作。所以一些爬虫的技巧学

  • 04 2019-06
    ip代理服务器软件配合爬虫活动

    ip代理服务器软件配合爬虫活动,抓取的数据速度会加快,效率也会高很多,故ip代理服务器软件是爬虫抓取数据的必备工具。

  • 16 2020-04
    使用高匿代理IP安全吗

    网络时代,信息非常容易被泄露,商家很容易就收集到我们的个人信息,消费习惯等等,这对我们的生活也有一定的影响,那么,我们使用高匿代理IP安全吗?请看小编来为大家分析。

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部