您的位置:首页 > 新闻资讯 >文章内容
爬虫用代理IP好还是设置访问时间间隔好?
来源:互联网 作者:admin 时间:2019-05-21 10:56:13

    爬虫用代理IP好还是设置访问时间间隔好?因为每个来访的IP,服务器都是会记录的,如果需要大量的在同一个网站上获取信息,同一个IP一直快速访问,这绝对会被限制的,那么爬虫用代理IP好还是设置访问时间间隔好?


爬虫用代理IP好还是设置访问时间间隔好?


    很多网站的反爬虫机制都设置了访问间隔时间,一个IP如果短时间内超过了指定的次数就会进入“冷却CD”,所以除了轮换IP和user_agent外,一般上还可以设置访问的时间间间隔长一点,比如没抓取一个页面休眠一个随机时间:


    import time,random


    time.sleep(random.random()*3)


    对于一个crawler来说,这是一个比较responsible的做法。


    因为本来爬虫就可能会给对方网站造成访问的负载压力,所以这种防范既可以从一定程度上防止被封,还可以降低对方的访问压力。


    但是这不能解决效率的问题,一般上使用到爬虫来抓取,其数据都不少,如果采取设置访问时间间隔,这效率必定时非常慢的。建议还是使用代理IP的,就像机灵代理,使用之后能够换全国这么多的IP地址,这样每个IP的访问频率就降低下来了,预防被封。


    故,爬虫用代理IP好还是设置访问时间间隔好,这个问题,建议使用代理IP的。


相关文章内容简介
推荐阅读
  • 09 2019-09
    你真的懂了动态IP代理吗?

    代理IP怎么还分为静态代理跟动态代理,在你选择IP代理服务的时候,是否也有这个疑问。不知道具体有什么区别,随便选一个吧,在看玩机灵代理为大家带来这篇动态IP代理的详解之后,可别再

  • 26 2019-12
    缓冲功能是代理ip​重要一环!

    缓冲功能是代理ip​重要一环!大多数服务器代理都具有缓冲功能,例如具有较大存储空间的大型缓存。它不断地将新获取的数据存储到自己的计算机内存中。如果计算机浏览器请求的数据已存在

  • 06 2020-05
    IP代理软件网游不掉线

    网络游戏市场在不断发展,随着电竞行业的市场化,现在很多职业玩家以及个人玩家对游戏的追求是比较高的,而且投入的时间也更多。那么,如果我们想要玩游戏多开不掉线,可以怎么做呢?

  • 12 2020-10
    各ip代理是怎么分类的

    代理ip的种类较多,有透明代理IP、普通匿名代理、高级匿名代理IP、HTTP代理IP、HTTPS代理IP和Socks代理IP等,那么他们是怎么分类的,这些代理ip之间又有什么区别呢?下面为大家介绍下HTTP代理IP

  • 29 2020-09
    为什么要用HTTP代理IP

    代理IP是什么?对于一般人来说,代理IP可能一文不值,根本不知道它是什么,用来做什么;而对于从事互联网工作的人来说,它好比狙击步枪的瞄准镜,有它没它差距非常大。下面跟小编简单

  • 24 2019-09
    PHP使用代理IP访问指定页面

    PHP即“超文本预处理器”,是一种通用开源脚本语言。PHP是在服务器端执行的脚本语言,与C语言类似,是常用的网站编程语言。PHP独特的语法混合了C、Java、Perl以及 PHP 自创的语法。利于学习,

在线咨询
大客户经理
大客户经理
1829380381
13316264505

大客户经理微信

微信公众号

微信公众号

回到顶部