无论是开展什么工作，基本的理论知识都不必不可少的，只有掌握了，我们才能够去好好利用它。如果你想要了解爬虫以及大数据的相关知识，那么机灵代理搜集的这33个知识点就非常适合了。在用代理IP开展爬虫，挖掘数据之前，我们先一起来看看这些要点吧。

　　紧接着第一部分，以下是第二部分的知识点：

　　11、衡量关联规则挖掘结果的有效性，应该从多种综合角度来考虑：

　　准确性：挖掘出的规则必须反映数据的实际情况。

　　实用性：挖掘出的规则必须是简洁可用的。

　　新颖性：挖掘出的关联规则可以为用户提供新的有价值信息内容。

　　12、约束的常见类型有：

　　(1)单调性约束

　　(2)反单调性约束

　　(3)可转变的约束

　　(4)简洁性约束

　　13、根据规则中涉及到的层次，多层次关联规则可以分为：

　　(1)同层关联规则：如果一个关联规则对应的项目是同一个粒度层次，那么它是同层关联规则。

　　(2)层间关联规则：如果在不同的粒度层次上考虑问题，那么可能得到的是层间关联规则。

　　14、按照聚类分析算法的主要思路，聚类方法可以被归纳为如下几种。

　　(1)划分法：基于一定标准构建数据的划分。

　　属于该类的聚类方法有：k-means、k-modes、k-prototypes、k-medoids、PAM、CLARA、CLARANS等。

　　(2)层次法：对给定数据对象集合进行层次的分解。

　　(3)密度法：基于数据对象的相连密度评价。

　　(4)网格法：将数据空间划分成为有限个单元(Cell)的网格结构，基于网格结构进行聚类。

　　(5)模型法：给每一个簇假定一个模型，然后去寻找能够很好的满足这个模型的数据集。

　　15、类间距离的度量主要有：

　　(1)最短距离法：定义两个类中最靠近的两个元素间的距离为类间距离。

　　(2)最长距离法：定义两个类中最远的两个元素间的距离为类间距离。

　　(3)中心法：定义两类的两个中心间的距离为类间距离。

　　(4)类平均法：它计算两个类中任意两个元素间的距离，并且综合他们为类间距离：离差平方和。

　　16、层次聚类方法具体可分为：

　　(1)凝聚的层次聚类：一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。

　　(2)分裂的层次聚类：采用自顶向下的策略，它首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件。

　　层次凝聚的代表是AGNES算法。层次分裂的代表是DIANA算法。

　　17、文本挖掘(TD)的方式和目标是多种多样的，基本层次有：

　　(1)关键词检索：最简单的方式，它和传统的搜索技术类似。

　　(2)挖掘项目关联：聚焦在页面的信息内容(包括关键词)之间的关联信息内容挖掘上。

　　(3)信息内容分类和聚类：利用大数据挖掘的分类和聚类技术实现页面的分类，将页面在一个更到层次上进行抽象和整理。

　　(4)自然语言处理：揭示自然语言处理技术中的语义，实现Web内容的更精确处理。

　　18、在web访问挖掘中常用的技术：

　　(1)路径分析

　　路径分析最常用的应用是用于判定在一个Web站点中最频繁访问的路径，这样的知识对于一个电子商务网站或者信息内容安全评估是非常重要的。

　　(2)关联规则发现

　　使用关联规则发现方法可以从Web访问事务集中，找到一般性的关联知识。

　　(3)序列模式发现

　　在时间戳有序的事务集中，序列模式的发现就是指找到那些如“一些项跟随另一个项”这样的内部事务模式。

　　(4)分类

　　发现分类规则可以给出识别一个特殊群体的公共属性的描述。这种描述可以用于分类新的项。

　　(5)聚类

　　可以从Web Usage数据中聚集出具有相似特性的那些客户。在Web事务日志中，聚类顾客信息内容或数据项，就能够便于开发和执行未来的市场战略。

　　19、根据功能和侧重点不同，大数据挖掘语言可以分为三种类型：

　　(1)大数据挖掘查询语言：希望以一种像SQL这样的数据库查询语言完成大数据挖掘的任务。

　　(2)大数据挖掘建模语言：对大数据挖掘模型进行描述和定义的语言，设计一种标准的大数据挖掘建模语言，使得大数据挖掘系统在模型定义和描述方面有标准可以遵循。

　　(3)通用大数据挖掘语言：通用大数据挖掘语言合并了上述两种语言的特点，既具有定义模型的功能，又能作为查询语言与大数据挖掘系统通信，进行交互式挖掘。通用大数据挖掘语言标准化是目前解决大数据挖掘行业出现问题的颇具吸引力的研究方向。

　　20、规则归纳有四种策略：减法、加法，先加后减、先减后加策略。

　　(1)减法策略：以具体例子为出发点，对例子进行推广或泛化，推广即减除条件(属性值)或减除合取项(为了方便，我们不考虑增加析取项的推广)，使推广后的例子或规则不覆盖任何反例。

　　(2)加法策略：起始假设规则的条件部分为空(永真规则)，如果该规则覆盖了反例，则不停地向规则增加条件或合取项，直到该规则不再覆盖反例。

　　(3)先加后减策略：由于属性间存在相关性，因此可能某个条件的加入会导致前面加入的条件没什么作用，因此需要减除前面的条件。

　　(3)先减后加策略：道理同先加后减，也是为了处理属性间的相关性。

　　以上是第二部分的内容，是不是对接下来的知识点越来越期待了呢?请继续关注机灵代理，留意第三部分吧。

　　机灵代理，自建200+机房，数万拨号线路，提供企业级HTTP代理服务，IP覆盖全国200+城市，高匿名代理IP帮助你保护个人隐私。无论是网络爬虫、互联网营销、投票打榜都可以使用。