Spark MLlib中的K-means算法使用Map分布式读取数据集，并存储在内存里。计算时，用Map键值对表示随机挑选出来的k个聚类中心，Spark的驱动器节点负责把数据发送到各个工作节点，以实现具体的计算任务。Spark MLlib不同于传统的机器学习工具，它提供了简单易用的API，特别是Spark能够高效地处理大数据，并且在迭代计算时具有较强的优势。......
2023-11-21
Mean-Shift聚类算法详解
【摘要】：Mean－Shift聚类是一个基于滑窗的算法，其目的是尝试找到数据点密集的区域。算法9.2M ean－Shift聚类确定滑动窗口半径r，以随机选取的中心点为C、半径为r的圆形滑动窗口开始滑动。Mean－Shift聚类的优点如下:不同于K－Means算法，均值漂移聚类算法不需要知道有多少类/组。基于密度的算法相比于K－Means受均值影响较小。Mean－Shift聚类的缺点:窗口半径r的选择可能是不重要的。
Mean－Shift聚类是一个基于滑窗的算法，其目的是尝试找到数据点密集的区域。应用领域包括计算机视觉和图像处理中的聚类分析[4]。它是一个基于质心的算法，即它的目标是通过更新中心点候选者定位每个组或类的中心点，将中心点候选者更新为滑窗内点的均值。这些候选滑窗之后会在后处理阶段被过滤来减少邻近的重复点，最后形成了中心点的集合和它们对应的组。
算法9.2 M ean－Shift聚类
(1)确定滑动窗口半径r，以随机选取的中心点为C、半径为r的圆形滑动窗口开始滑动。均值漂移类似一种爬山算法，在每一次迭代中向密度更高的区域移动，直到收敛。
(2)每一次滑动到新的区域，计算滑动窗口内的均值来作为中心点，滑动窗口内点的数量为窗口内的密度。在每一次移动中，窗口会向密度更高的区域移动。
(3)移动窗口，计算窗口内的中心点以及窗口内的密度，直到没有方向在窗口内可以容纳更多的点，即一直移动到圆内密度不再增加为止。
(4)步骤(1) ～(3)会产生很多个滑动窗口，当多个滑动窗口重叠时，保留包含最多点的窗口，然后根据数据点所在的滑动窗口进行聚类[5]。
Mean－Shift聚类的优点如下:
(1)不同于K－Means算法，均值漂移聚类算法不需要知道有多少类/组。
(2)基于密度的算法相比于K－Means受均值影响较小。
Mean－Shift聚类的缺点:窗口半径r的选择可能是不重要的。
有关数据挖掘技术与应用的文章
- 详细阅读
-
聚类算法与特异性发现算法的比较详细阅读
聚类分析发现强相关的对象组，而特异检测发现不与其他对象强相关的对象。图3.8K-means聚类方法与CpecuFind发现特异数据能力ROC曲线K-means聚类；CpecuFind表3.6K-means与CpecuFind发现特异数据能力ROC曲线面积对比上述对比说明，只简单地以簇类大小和对象与类心距离来评估对象的特异程度结果很粗糙，其评价特异数据的能力远不如Cpecu Find方法。......
2023-06-16
-
K-Means 聚类算法优化简介详细阅读
算法9.1K－Means聚类选择一些类/组，并随机初始化它们各自的中心点，中心点是与每个数据点向量长度相同的位置。K－Means采用的启发式方式很简单，用下面一组图就可以形象地描述。图9－1K－Means的启发式方式(见彩插)......
2023-06-21
-
基本概念：DBSCAN密度聚类算法详细阅读
图9－2DBSCAN基本概念(见彩插)图9－3“直接密度可达”和“密度可达”概念示意描述根据前面基本概念的描述知道:由于有标记的各点M、P、O和R的Eps近邻均包含三个以上的点，因此它们都是核对象；M是从P“直接密度可达”；而Q则是从M“直接密度可达”；基于上述结果，Q是从P“密度可达”；但P从Q无法“密度可达”(非对称)。......
2023-06-21
-
基于RNN的层次聚类算法介绍详细阅读
RNN算法对标准层次聚类的合并准则和相似度度量做了相应的改进，从而降低了其复杂度，使其更适用于大规模的数据集。当合并最近邻对得到一个新的簇时，需要重新计算该簇与其他各个簇的相似度，如果通过平均值的距离来度量两个簇的距离，其计算复杂度仅为O，但是由于本书采用的是平均距离，则需要通过更为有效的方法进一步降低复杂度。对于低维数据，还可以通过更为有效的最近邻搜索技术进一步降低复杂度。......
2023-06-28
-
基于聚类的全局特异数据挖掘算法详细阅读
设某一属性的所有值的数据集为S，其平均值为Smean。根据这些想法，提出一种基于聚类的全局特异数据挖掘方法。构架仍由挖掘特异属性和挖掘特异记录两个层次构成。从原则上讲可以采用任何基于距离的聚类算法对S进行聚类，采用的聚类算法的效果好，可以减少后续的计算量。图3.2SimC聚类算法可以看出，k是控制聚类半径Cd的。现在根据式（3.9）计算每个类的特异因子，记为CPF。显然，CPF越小的类，其中的元素是特异数据的可能性越小。......
2023-06-16
-
基于高斯混合模型的聚类算法：期望最大化详细阅读
图9－4K－Means不适用的情况高斯混合模型具有比K－Means更好的灵活性。使用GMM，需要假设数据点是高斯分布，相对于环形的数据而言，这个假设的严格程度与均值相比弱很多。因此，每个高斯分布会被分配到单一的聚类簇。基于这些概率，我们为高斯分布计算了一组新的参数，这样就可以最大化集群中数据点的概率。......
2023-06-21
-
kNN算法详解详细阅读
kNN算法最初由Cover和Hart于1968年提出的，是最近邻算法的一种推广，广泛应用于机器学习和数据分类。因此，kNN算法不具有显式学习的过程，而是利用样本集对向量空间进行划分。图6-2k值选取分类效果kNN算法中影响算法准确率的因素有距离函数和k值的选择，图6-2为选取不同k值分类的效果图。......
2023-06-28
相关推荐