互联网的高速发展，产生了不少新技术，代理IP的广泛应用，促进了爬虫的发展。搜索引擎的诞生，让人们的网络变得更加饱满，网络爬虫作为搜索引擎技术最为基础的一个部分，它会有哪些策略让爬虫优先去爬取权重高的网页呢。

　　目前主流的网页搜索策略主要有三，即：深度优先、广度优先、最佳优先。

　　1、 深度优先

　　即从起始网页开始，选择一个URL，进入，分析这个网页中的URL，选择一个再进入。如此一个链接一个链接地深入追踪下去，处理完一条路线之后再处理下一条路线。

　　该类爬虫设计时较为简单。然而深度优先型网络爬虫存在一个问题：门户网站提供的链接往往最具价值，PageRank也很高，而每深入一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。

　　由于这个缺陷，广度优先策略产生了。

　　2、广度优先(又称宽度优先)

　　即从起始网页开始，抓取其中所有链接的网页，然后从中选择一个，继续抓取该网页中的所有链接页面。

　　网络爬虫在抓取网页时普遍采用这种策略，这其中有两个原因：

　　第一，万维网的实际深度最大能达到17层，网页之间四通八达，因此存在从一个网页到另一个网页的最短路径问题。如果采用深度优先，则有可能从一个PageRank很低的网页爬取到一个PageRank实际很高的网页，不方便计算PageRank。

　　第二，采用宽度优先策略有利于多个爬虫并行爬取。这种多爬虫合作抓取通常是先抓取站内链接，遇到站外连接就爬出去，抓取的封闭性很强。

　　广度优先策略的优点在于其设计和实现相对简单，且这种策略的基本思想是：与种子在一定距离内的网页重要度较高，符合实际。

　　在聚焦爬虫的应用中，广度优先策略可以与网页过滤技术结合，即先用广度优先抓取一些网页，再将其中与主题无关的过滤掉。但这种方法的缺点是随着抓取网页的增多，算法的效率会变低。

　　另外，还有一种常用于聚焦爬虫的网页搜索策略——最佳优先策略。

　　最佳优先，即按照某种网页分析算法预测候选URL与目标网页的相似度，或主题的相关性，并选取其中评价最好的一个或几个URL进行进一步的爬取。

　　这种策略的缺陷是可能会有很多相关网页被忽略，但相对的，这种策略可以将无关网页数量降低30%—90%

　　为了资源利用率的最大化，以上3种策略爬虫会利用来对于网页爬取。