算法9.1K－Means聚类选择一些类/组，并随机初始化它们各自的中心点，中心点是与每个数据点向量长度相同的位置。K－Means采用的启发式方式很简单，用下面一组图就可以形象地描述。图9－1K－Means的启发式方式(见彩插)...
2023-06-21 理论教育
数据挖掘技术与应用
- 详细阅读
-
DBSCAN算法的原理及优化探究详细阅读
DBSCAN通过检查数据集中每点的Eps邻域来搜索簇，如果点p的Eps邻域包含的点多于minPts个，则创建一个以p为核心对象的簇。DBSCAN迭代地聚集从这些核心对象直接密度可达的对象，这个过程可能涉及一些密度可达簇的合并。当没有新的点添加到任何簇时，该过程结束。算法9.3DBSCAN算法输入:数据集D；给定点在邻域内成为核心对象的最小邻域点数:minPts；邻域半径:Eps；输出:簇集合。标记所有对象为unvisited。重复步骤～，直至没有标记为unvisited的对象。...
2023-06-21 理论教育
-
数据挖掘中常用的方法详细阅读
常用的数据挖掘方法有四大类，分别对应四个问题，这四个问题是数据挖掘的基础，分别是聚类挖掘、分类挖掘、关联模式挖掘和异常值检测。1)K最近邻分类算法K最近邻分类算法可以说是整个数据挖掘分类技术中最简单的方法。目前，数据挖掘领域有大量的聚类算法。...
2023-06-21 理论教育
-
数据挖掘中存在的主要问题详细阅读
如果数据挖掘系统是交互的，数据挖掘结果的表示和显示这一点便尤为重要。从数据库角度来讲，有效性和可规模性是数据挖掘系统实现的关键问题。以上问题是数据挖掘技术未来发展的主要挑战。...
2023-06-21 理论教育
-
数据挖掘应用：发掘商业价值的利器详细阅读
实际上数据挖掘技术从一开始就是面向应用的。目前，在很多重要的领域，数据挖掘技术都发挥着积极的作用。商家通过数据挖掘技术制定营销策略，向消费者发出与其以前消费行为相关的推销材料。自20世纪90年代开始出现数据挖掘商用软件以来，据不完全统计，1998年年底1999年年初，已有50多个厂商从事数据挖掘系统的软件开发工作，美国数据挖掘产品市场在1994年达到5 000万美元，1997达到3亿美元。...
2023-06-21 理论教育
-
PCA的理论原理和推导过程详细阅读
图10－1PCA推导在图10－1中，u1就是主成分方向，然后在二维空间中取与u1方向正交的方向，就是u2的方向。则n个数据在u1轴的离散程度最大，即方差最大，数据在u1上的投影代表了原始数据的绝大部分信息，即使不考虑u2，信息损失也不多。PCA有两种通俗易懂的解释:①最大方差理论；②最小化降维造成的损失。如图10－1所示，样本在u1上的投影方差较大，在u2上的投影方差较小，那么可认为u2上的投影是由噪声引起的。...
2023-06-21 理论教育
-
Mean-Shift聚类算法详解详细阅读
Mean－Shift聚类是一个基于滑窗的算法，其目的是尝试找到数据点密集的区域。算法9.2M ean－Shift聚类确定滑动窗口半径r，以随机选取的中心点为C、半径为r的圆形滑动窗口开始滑动。Mean－Shift聚类的优点如下:不同于K－Means算法，均值漂移聚类算法不需要知道有多少类/组。基于密度的算法相比于K－Means受均值影响较小。Mean－Shift聚类的缺点:窗口半径r的选择可能是不重要的。...
2023-06-21 理论教育
-
数据降维与主成分分析详细阅读
为了说明什么是数据的主成分，先从数据降维说起。一般来讲，n维空间中的n个点一定能在一个n－1维子空间中分析。在上一段中，我们可以认为数据降维后并没有丢弃任何东西，因为这些数据在平面以外的第三个维度的分量都为0。主成分分析的思想:将n维特征映射到k维上(k＜n)，这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n－k维特征。...
2023-06-21 理论教育
-
方差、协方差和协方差矩阵的定义与应用详细阅读
我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。设Y的协方差矩阵为D，下面推导D与C的关系:我们需要找到能让原始协方差矩阵对角化的P。...
2023-06-21 理论教育
-
基于高斯混合模型的聚类算法：期望最大化详细阅读
图9－4K－Means不适用的情况高斯混合模型具有比K－Means更好的灵活性。使用GMM，需要假设数据点是高斯分布，相对于环形的数据而言，这个假设的严格程度与均值相比弱很多。因此，每个高斯分布会被分配到单一的聚类簇。基于这些概率，我们为高斯分布计算了一组新的参数，这样就可以最大化集群中数据点的概率。...
2023-06-21 理论教育
-
选择算子及其应用于个体适应度评价！详细阅读
选择操作建立在对个体的适应度进行评价的基础之上。比例选择算子是指个体被选中到下一代群体中的概率与该个体的适应度大小成正比，也叫赌盘选择。...
2023-06-21 理论教育
-
基本概念：DBSCAN密度聚类算法详细阅读
图9－2DBSCAN基本概念(见彩插)图9－3“直接密度可达”和“密度可达”概念示意描述根据前面基本概念的描述知道:由于有标记的各点M、P、O和R的Eps近邻均包含三个以上的点，因此它们都是核对象；M是从P“直接密度可达”；而Q则是从M“直接密度可达”；基于上述结果，Q是从P“密度可达”；但P从Q无法“密度可达”(非对称)。...
2023-06-21 理论教育
-
数据挖掘的研究对象和范围详细阅读
数据挖掘可以针对任何类型的数据库进行，既包括传统的关系数据库，也包括非数据库组织的文本数据库、Web数据库以及复杂的多媒体数据库等[5]。文本数据库多数为非结构化的，也有些是半结构化的，如HTML、E－mail等。Web网页也是文本信息，由众多的Web网页组成的数据库就是最大的文本数据库。...
2023-06-21 理论教育