Spark MLlib中的K-means算法使用Map分布式读取数据集,并存储在内存里。计算时,用Map键值对表示随机挑选出来的k个聚类中心,Spark的驱动器节点负责把数据发送到各个工作节点,以实现具体的计算任务。Spark MLlib不同于传统的机器学习工具,它提供了简单易用的API,特别是Spark能够高效地处理大数据,并且在迭代计算时具有较强的优势。......
2023-11-21
RNN算法对标准层次聚类的合并准则和相似度度量做了相应的改进,从而降低了其复杂度,使其更适用于大规模的数据集。该算法的基本原理虽然在20多年前已经提出,但是直到最近几年才被应用在目标识别领域[127]。RNN算法的核心思想是构造相互最近邻对(Reciprocal Nearest Neighbor Pairs,RNNP),也就是一对互为最近邻的数据点,这就满足了聚类的可还原性——当两个簇Ci和Cj进行合并之后,相对其他任意簇Ck的相似度要减小,其表达式如下:
sim(Ci,Cj)≥sup(sim(Ci,Ck),sim(Cj,Ck))⇒
sup(sim(Ci,Ck),sim(Cj,Ck))≥sim(Ci∪Cj,Ck) (6-4)这就保证了合并最近邻对时不改变与任何其他簇的最邻近关系,而且该性质对于平均距离和平均值的距离两种簇间距离度量方法来说,都是完备的。令X={x(1),…,x(N)}和Y={y(1),…,y(M)}为两个簇,则这两种簇间距离度量的定义为
本书采用平均距离作为两个簇的相似度度量,在聚类过程中为任意一个数据点建立一条最近邻链(Nearest Neighbor Chain),通过最近邻链来简单有效地寻找到最近邻对。具体步骤如下:算法:基于最近邻链的RNN凝聚聚类
//随机选定一个数据点v∈V初始化链表L
//剩余的数据点都包含在集合R中
//在集合R中搜索下一个最近邻点并计算相似度
//没有找到最近邻对,把s添加到最近邻链中
//找到最近邻对,合并链表最后两个节点
//丢弃当前链表
//重新随机选择一个数据点v∈R建立一个新链表
整个聚类过程需要3(N-1)次迭代,其搜索最近邻点的时间代价最低可以降到O(n)。当合并最近邻对得到一个新的簇时,需要重新计算该簇与其他各个簇的相似度,如果通过平均值的距离来度量两个簇的距离,其计算复杂度仅为O(n),但是由于本书采用的是平均距离,则需要通过更为有效的方法进一步降低复杂度。
设μx,μy和σ2x,σ2y分别为簇X,Y的平均值和方差,两个簇的平均距离(在欧氏空间中)可以用下面的公式表示:
采用这种形式来计算簇间距离,只需要储存每个簇的平均值和方差。当合并最近邻对产生新簇的时候,新簇的平均值和方差计算公式如下:
如此一来,算法的时间复杂度为O(n2),空间复杂度为O (n)。对于低维数据,还可以通过更为有效的最近邻搜索技术进一步降低复杂度。
有关图像目标的表示与识别的文章
Spark MLlib中的K-means算法使用Map分布式读取数据集,并存储在内存里。计算时,用Map键值对表示随机挑选出来的k个聚类中心,Spark的驱动器节点负责把数据发送到各个工作节点,以实现具体的计算任务。Spark MLlib不同于传统的机器学习工具,它提供了简单易用的API,特别是Spark能够高效地处理大数据,并且在迭代计算时具有较强的优势。......
2023-11-21
设某一属性的所有值的数据集为S,其平均值为Smean。根据这些想法,提出一种基于聚类的全局特异数据挖掘方法。构架仍由挖掘特异属性和挖掘特异记录两个层次构成。从原则上讲可以采用任何基于距离的聚类算法对S进行聚类,采用的聚类算法的效果好,可以减少后续的计算量。图3.2SimC聚类算法可以看出,k是控制聚类半径Cd的。现在根据式(3.9)计算每个类的特异因子,记为CPF。显然,CPF越小的类,其中的元素是特异数据的可能性越小。......
2023-06-16
图9-4K-Means不适用的情况高斯混合模型具有比K-Means更好的灵活性。使用GMM,需要假设数据点是高斯分布,相对于环形的数据而言,这个假设的严格程度与均值相比弱很多。因此,每个高斯分布会被分配到单一的聚类簇。基于这些概率,我们为高斯分布计算了一组新的参数,这样就可以最大化集群中数据点的概率。......
2023-06-21
聚类分析发现强相关的对象组,而特异检测发现不与其他对象强相关的对象。图3.8K-means聚类方法与CpecuFind发现特异数据能力ROC曲线K-means聚类;CpecuFind表3.6K-means与CpecuFind发现特异数据能力ROC曲线面积对比上述对比说明,只简单地以簇类大小和对象与类心距离来评估对象的特异程度结果很粗糙,其评价特异数据的能力远不如Cpecu Find方法。......
2023-06-16
Mean-Shift聚类是一个基于滑窗的算法,其目的是尝试找到数据点密集的区域。算法9.2M ean-Shift聚类确定滑动窗口半径r,以随机选取的中心点为C、半径为r的圆形滑动窗口开始滑动。Mean-Shift聚类的优点如下:不同于K-Means算法,均值漂移聚类算法不需要知道有多少类/组。基于密度的算法相比于K-Means受均值影响较小。Mean-Shift聚类的缺点:窗口半径r的选择可能是不重要的。......
2023-06-21
算法9.1K-Means聚类选择一些类/组,并随机初始化它们各自的中心点,中心点是与每个数据点向量长度相同的位置。K-Means采用的启发式方式很简单,用下面一组图就可以形象地描述。图9-1K-Means的启发式方式(见彩插)......
2023-06-21
图9-2DBSCAN基本概念(见彩插)图9-3“直接密度可达”和“密度可达”概念示意描述根据前面基本概念的描述知道:由于有标记的各点M、P、O和R的Eps近邻均包含三个以上的点,因此它们都是核对象;M是从P“直接密度可达”;而Q则是从M“直接密度可达”;基于上述结果,Q是从P“密度可达”;但P从Q无法“密度可达”(非对称)。......
2023-06-21
对声音进行数字化处理得到的结果称为音频。对音频,需要通过听觉特征进行检索。音频有别于一般数据,本身是一种正弦波,检索前需要进行预处理,以提取音频特征或文本描述。基于内容的音频检索系统的第一步是先建立数据库对音频数据进行特征提取,将音频数据装入数据库的原始音频库部分,将特征装入特征库部分,通过特征对音频数据聚类,将聚类信息装入聚类参数库部分。......
2023-11-01
相关推荐