E.Knorr等将知识发现的任务归为4类[109]：
1）探查依赖关系。
2）辨识类别。
3）描述类别。
4）探查例外或特异数据。
前3类任务对应的基础是频繁项挖掘，第4类的基础是稀有项。在数据集中，一些数据或对象与其中其他数据或对象显著不同，则称为特异数据或特异对象。特异数据一般认为是由测量或操作的严重失误引起的，如在登记年龄的数据中出现了某人800岁的误记。这样的特异数据在进行数据分析前是应尽量清除掉或减少其影响。而“一些人的噪声是另一些人的信号”[108]，在另一些场合，清除特异数据会丢失隐藏的和有意义的信息，如在金融领域使用信用卡的特异消费可能是欺诈行为。在这些应用中，发现特异数据成为挖掘的目标。
Muneaki Ohshima和Ning Zhong等人认为数据（属性值）只被少数对象拥有，并且与其他数据显著不同，则这些数据是特异的（peculiar）[101]。Hawkins将特异数据定义为：“如果一个值与其他值差距很大，以至让人怀疑它是由不同的机制产生的，这个值是特异值（outlier）”[105]。虽然没有统一的概念，但特异数据被公认有两个特征：稀少和与其他数据的差距大。
典型的特异数据挖掘算法有以下几种：
1）基于统计的。
2）基于密度的局部特异数据挖掘方法。
3）基于距离的全局特异数据挖掘方法。
图2.15 无一致分布数据集示例
另外，还有一些文献研究基于数据挖掘中间结果的特异识别，如利用分类关联规则来识别特异的类别等[113]。其中，基于统计的方法，主要是利用数据的分布特性计算特异数据的特征，采用不一致检验的方法挖掘数据。因为现实数据的分布特性往往不是已知的，而根据数据来计算分布特性是相当复杂的；并且，有些现实的数据集没有一致的分布状态，例如如图2.15所示的数据集。所以基于统计的方法的应用很受限制。2）和3）的方法均从数据本身出发挖掘特异数据，本章将介绍基于密度的局部特异数据挖掘方法的思想和主要算法。基于距离的全局特异数据挖掘方法将在第3章介绍。
有关数据挖掘算法及在视频分析中的应用的文章
E.Knorr和R.Ng等在文献[109]中同时提出了一种基于网格构架的挖掘DB-outlier的方法。首先，全部的数据空间被分割成边长为l的网格。①如果Cx，y中的对象数＞k，那么Cx，y中的所有对象均不是特异对象。M.M.Breuning等认为文献[106]中关注一个对象是否是特异的，而很多的应用中，给出一个对象的特异程度值更有意义。从[定义2.7]和[定义2.8]出发，M.M.Breuning等定义了一个度量对象p的特异程度的因子Local Outlier Factor，记为LOF[106]。......
2023-06-16
基于密度的局部特异数据挖掘方法的文献一般基于两个基本概念：k-distance和DB-outlier。显然，k-distance越大，p点附近的点密度越低，p的特异程度越高。从而确定了这类方法与统计方法的一致性。正态分布的特异定义DefNormal：p是特异的，当且仅当，此定义将正态分布中与均值距离不小于3的对象称为是特异的。说明了当参数μ=3时，泊松分布的特异数据界定。泊松分布的特异数据定义DefPoisson为：p是特异的，当且仅当，p≥8。......
2023-06-16
Zhong Ning等人提出了一种基于距离的全局特异数据挖掘的构架[101]。其中，Mj和σj分别代表aj所有PF值的均值和标准差。Pr=RPF均值+γ×RPF的标准差（3.4）可以看出，此构架是基于距离的，并且找到的特异数据是全局的。从式（3.1）得出，属性xij和xkj间的距离d是后续计算的基础。由前述可知，此构架可以处理各类属性值，并且可以处理多个相关数据集的特异挖掘问题。......
2023-06-16
设某一属性的所有值的数据集为S，其平均值为Smean。根据这些想法，提出一种基于聚类的全局特异数据挖掘方法。构架仍由挖掘特异属性和挖掘特异记录两个层次构成。从原则上讲可以采用任何基于距离的聚类算法对S进行聚类，采用的聚类算法的效果好，可以减少后续的计算量。图3.2SimC聚类算法可以看出，k是控制聚类半径Cd的。现在根据式（3.9）计算每个类的特异因子，记为CPF。显然，CPF越小的类，其中的元素是特异数据的可能性越小。......
2023-06-16
常用的数据挖掘方法有四大类，分别对应四个问题，这四个问题是数据挖掘的基础，分别是聚类挖掘、分类挖掘、关联模式挖掘和异常值检测。1)K最近邻分类算法K最近邻分类算法可以说是整个数据挖掘分类技术中最简单的方法。目前，数据挖掘领域有大量的聚类算法。......
2023-06-21
对服刑人员进行危险性评估主要是指对服刑人员的人身危险性进行评估，进而对服刑人员未来是否有暴力、自杀、脱逃等危险性行为进行预测。目前，危险性评估技术的应用主要集中在监狱内对服刑人员进行危险性评估、监狱外服刑人员的危险性评估。将服刑人员危险性评估定义为通过一定的技术对服刑人员重新犯罪或者实施其他犯罪行为的可能进行预测，从而为控制这些危险提供根据。......
2023-07-31
Weka工具的关联规则挖掘过程如图2-3所示。图2-4Weka选择函数设置Apriori算法的参数如下：car如果设为真，则会挖掘类关联规则而不是全局关联规则。delta以此数值为迭代递减单位，不断减小支持度直至达到最小支持度或产生了满足数量要求的规则。设置对规则进行排序的度量依据，可以是置信度、提升度、杠杆率、确信度。在Weka中设置了几个类似置信度的度量来衡量规则的关联程度，它们分别是，①Lift：P（A，B）/Lift=1时表示A和B独立。......
2023-11-08
关联规则是寻找在同一个事件中出现的不同项的相关性。关联分析即利用关联规则进行数据挖掘。关联规则挖掘问题的描述：项目集，设I=｛i1，i2，…关联规则挖掘的目标，给定一个事务集合T，关联规则挖掘即找出T中所有满足支持度和置信度分别高于一个用户指定的最小支持度和最小置信度的关联规则。......
2023-11-08
相关推荐