1.Apriori算法的性能瓶颈
Apriori作为经典的频繁项目集生成算法，在数据挖掘中具有里程碑的作用。
Apriori算法有两个致命的性能瓶颈：第一，多次扫描事务数据库，需要很大的I/O负载，对每次k循环，侯选集Ck中的每个元素都必须通过扫描一次数据库来验证其是否加入Lk。假如有一个频繁项目集包含10个项的话，那么就至少需要扫描事务数据库10遍。第二，可能产生庞大的侯选集，由Lk-1产生k-侯选集Ck是指数增长的，例如104个1-频繁项目集就有可能产生接近107个元素的2-侯选集。如此大的候选集对时间和主存空间都是一种挑战。
2.提高Apriori算法效率的技术(www.chuimin.cn)
一些算法虽然仍然遵循Apriori属性，但是由于引入了相关技术，在一定程度上改善了Apriori算法的适应性和效率。主要的改进方法：基于数据分割（Partition）的方法，基本原理是在一个划分中的支持度小于最小支持度的k-项集不可能是全局频繁的。基于散列（Hash）的方法，基本原理是，在一个hash桶内支持度小于最小支持度的k-项集不可能是全局频繁的。基于采样（Sampling）的方法，基本原理是通过采样技术，评估被采样的子集中，并依次来估计k-项集的全局频度。其他，如动态删除没有用的事务：不包含任何Lk的事务对未来的扫描结果不会产生影响，因而可以删除。
基于数据分割的方法。设数据集D被分割成分块D1，D2，...，Dn，全局最小支持数为minsup_count。如果一个数据分块Di的局部最小支持数minsup_counti（i=1，2，…，n），按着如下方法生成：minsup_counti=minsup_count*||Di||/||D||，则所有的局部频繁项目集涵盖全局频繁项目集。作用：（1）合理利用主存空间。数据分割将大数据集分成小的块，为块内数据一次性导入主存提供机会。（2）支持并行挖掘算法。每个分块的局部频繁项目集是独立生成的，因此提供了开发并行数据挖掘算法的良好机制。
探索新的理论。随着数据库容量的增大，重复访问数据库（外存）将导致性能低下。因此，探索新的理论和算法来减少数据库的扫描次数和候选集空间占用，已经成为近年来关联规则挖掘研究的热点之一，典型的方法是FP-tree算法。
有关大数据挖掘技术及其在医药领域的应用的文章
Apriori算法[3]是单维、单层、布尔关联规则挖掘算法，是最简单形式的关联规则挖掘。该算法是挖掘产生布尔关联规则频繁项目集的经典算法，对关联规则挖掘研究有着重要影响。图2.3Apriori-gen算法Apriori算法调用Apriori-gen，生成所有频繁项集，如图2.4所示。Apriori算法假定数据库驻留在内存中。Apriori算法之后，学者们不断研究其改进算法及其他思想的关联规则挖掘算法，取得了很多成果。图2.4Apriori算法图2.5找出频繁项集L后生成关联规则算法......
2023-06-16
关联规则挖掘及算法郑继刚杨春华曾庆红赵若男摘要:关联规则可分为布尔型和数值型、单层和多层、单维和多维关联规则挖掘。本文阐述关联规则的定义以及分类，详细介绍经典的关联规则挖掘Apriori算法。可信度是对关联规则准确性的衡量，是得出关联规则的依据。......
2024-03-27
关联规则是寻找在同一个事件中出现的不同项的相关性。关联分析即利用关联规则进行数据挖掘。关联规则挖掘问题的描述：项目集，设I=｛i1，i2，…关联规则挖掘的目标，给定一个事务集合T，关联规则挖掘即找出T中所有满足支持度和置信度分别高于一个用户指定的最小支持度和最小置信度的关联规则。......
2023-11-08
布尔型关联规则处理的值都是离散的、种类化的，它显示了这些变量之间的关系。在单维的关联规则中，只涉及数据的一个维，如用户购买的物品。检查冗余的多层关联规则：挖掘多层关联规则时，由于项间的“祖先”关系，有些发现的规则将是冗余的。挖掘多维关联规则的技术。......
2023-11-08
如果后件“C”只有类别值，自然可以想到使用此规则进行分类。典型的关联规则分类算法有CBA、CMAR和CPAR[99]。CBA是由Liu B等人提出的，是最早的也是最简单的关联规则分类算法[99]。在一些典型的分类数据集的测试中，CBA算法的实验精度高于C 4.5。但与CMAR不同的是，CPAR只选择每组中的“最好的”K个规则进行分类计算。可见，关联规则分类算法是一类基于规则的算法，其基础是频繁项目的与运算。......
2023-06-16
Weka工具的关联规则挖掘过程如图2-3所示。图2-4Weka选择函数设置Apriori算法的参数如下：car如果设为真，则会挖掘类关联规则而不是全局关联规则。delta以此数值为迭代递减单位，不断减小支持度直至达到最小支持度或产生了满足数量要求的规则。设置对规则进行排序的度量依据，可以是置信度、提升度、杠杆率、确信度。在Weka中设置了几个类似置信度的度量来衡量规则的关联程度，它们分别是，①Lift：P（A，B）/Lift=1时表示A和B独立。......
2023-11-08
在所有可能的项集中，有很多候选都不是频繁的。算法4.2Apriori算法伪代码FPGrowth方法使用一种增强的前缀树对数据D进行索引，以实现快速的支持度计算。FPGrowth将所有的项按照支持度的降序排列。FP树构建完成后，所有的频繁项集就可以从树中挖掘出来。基于频繁树模式的频繁集搜索方法见算法4.3。算法4.3FPGrowth算法伪代码......
2023-06-15
通过方剂数据的预处理和关联分析，挖掘出基层知名老中医马祥治疗慢性胃炎处方的药对、药组和药四对。现有寒症诊断决策原始数据集，可利用关联规则分析哪些临床表现的组合会导致不同的诊断结果。例如，现有如下中医药治疗胰腺癌的处方数据，可进行关联规则分析用药规律。表2-6癫痫用药根据眼科诊疗数据，可挖掘H52.0远视、H52.2散光、H52.4老光之间的关联情况。......
2023-11-08
相关推荐