数据挖掘的功能是指数据挖掘通过预测未来趋势及行为，做出前瞻的、基于知识的决策。数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时间序列模式和偏差分析等。关联分析的目的是找出数据库中隐藏的关联网。关联分析发现关联规则，这些规则展示属性值频繁地在给定数据集中一起出现的条件。聚类分析可以建立宏观的概念，发现数据的分布模式以及可能的数据属性之间的相互关系。...
2023-11-08 理论教育
大数据挖掘技术及其在医药领域的应用
- 详细阅读
-
大数据挖掘技术在医药领域的应用详细阅读
打开VMware Workstation→点击文件→新建虚拟机。图9-2选择典型（推荐）选择“安装程序光盘映像文件”，选择指定的CentOS系统的.iso文件，点击“下一步〉”。图9-10在CentOS 6中安装VMware Tools重启CentOs 6。图9-11CentOS 6重启输入密码zkpk，登录进系统。图9-12CentOS 6安装完成下面克隆HadoopSlave。图9-14设置克隆虚拟机选项创建完整克隆。图9-16命名虚拟机图9-17正在准备克隆虚拟机图9-18正在克隆虚拟机点击“关闭”按钮后，发现“HadoopSlave”虚拟机已经在左侧的列表栏中。...
2023-11-08 理论教育
-
大数据挖掘技术在医药领域的内容与特点详细阅读
机器学习算法从数据中自动分析获得规律，并利用规律对未知数据进行预测。数据挖掘与传统联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术。图1-11数据挖掘与机器学习...
2023-11-08 理论教育
-
大数据挖掘技术Mahout的特点和应用详细阅读
Apache Mahout起源于2008年，当时是Apache Lucene的子项目，使用Hadoop库，可以将其功能有效地扩展到Apache Hadoop云平台。Mahout不久又吸收了名为Taste的开源协同过滤算法的项目。2010年4月，Apache Mahout最终成为Apache的顶级项目。Mahout的特点：Mahout的主要目的是实现针对大规模数据集的可伸缩的机器学习算法。Mahout的算法运行在Hadoop平台下，通过MapReduce模式实现。聚类算法，Canopy聚类、K均值算法、模糊K均值、EM聚类、均值漂移聚类、层次聚类、狄里克雷过程聚类、LDA聚类、谱聚类。...
2023-11-08 理论教育
-
C4.5分类算法在医药领域的应用详细阅读
在C4.5算法中采用概率的方法，为缺失值的每个可能值赋予一个概率，而不是简单地用最常见的值替代该缺失值。C4.5决策树的生长阶段算法伪代码：C4.5决策树的剪枝处理阶段算法伪代码：5.C4.5算法的优缺点与其他分类算法相比，C4.5分类算法具有如下优点：产生的分类规则易于理解，准确率较高。为适应大规模数据集，在C4.5后出现有SLIQ和SPRINT等算法。...
2023-11-08 理论教育
-
关联规则挖掘中的FP-tree算法及效果详细阅读
设数据集D被分割成分块D1，D2，...，Dn，全局最小支持数为minsup_count。因此，探索新的理论和算法来减少数据库的扫描次数和候选集空间占用，已经成为近年来关联规则挖掘研究的热点之一，典型的方法是FP-tree算法。...
2023-11-08 理论教育
-
4种相似度计算方法-大数据挖掘技术及其在医药领域的应用详细阅读
例：已知两个样本p=［1000000000］和q=［0000001001］4.多值离散型属性的相似性计算方法多值离散型属性是指取值个数大于2的离散型属性。...
2023-11-08 理论教育
-
HDFS简介及相关技术，大数据挖掘与医药应用详细阅读
DataNode是HDFS文件系统中保存数据的节点。块是HDFS中的存储单位，默认为64MB。错误检测和快速、自动恢复是HDFS的重要特点。大规模数据集，运行在HDFS上的应用具有很大的数据集。HDFS的体系结构如图5-7所示。图5-7HDFS的体系结构4.HDFS的相关技术文件命名空间，HDFS使用的系统结构是传统的层次结构。权限管理，HDFS支持文件权限控制，但是目前的支持相对不足。一旦NameNode失效，将导致整个HDFS集群无法正常工作。HDFS的设计目标之一是具有高容错性。...
2023-11-08 理论教育
-
大数据挖掘技术中的Flume及其应用详细阅读
在数据处理方面：Flume对数据进行简单处理，并写到各种数据接收方处。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存系统配置的数据。同时，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。Flume-ng取消了集中管理配置的Master和Zookeeper，变为一个纯粹的传输工具。在Flume-og中，读入线程同样做写出工作。如果写出慢的话，它将阻塞Flume接收数据的能力。...
2023-11-08 理论教育
-
医药数据聚类分析：大数据挖掘应用详细阅读
表4-2某大型医院三年住院治疗情况（续表）医学图像数据聚类分析。中医药数据聚类分析。图4-1聚类数据示例聚类分析在数据挖掘中的作用：作为一个独立的工具来获得数据集中数据的分布情况。Q型聚类分析是对样本进行分类处理。根据变量的分类结果以及它们之间的关系，可以选择主要变量进行回归分析或Q型聚类分析。...
2023-11-08 理论教育
-
中药方剂挖掘的预处理方法详细阅读
下面做用关联规则方法研究知名老中医防治慢性胃炎配方规律的预处理。表1-5处方数据表药名的预处理。表1-6药品名称数据表预处理目标：Weka作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理、分类、回归、聚类、关联规则以及在新的交互式界面上的可视化。使用Python编写中药方剂预处理程序Preprocessing.py，可得预处理目标1的结果，如表1-7所示；预处理目标2的结果，如表1-8所示。...
2023-11-08 理论教育
-
HBaseShell:在医药领域的大数据挖掘技术应用详细阅读
在HBase Shell提示符下执行help命令可列出所有命令列表。命名空间类命令命名空间是对表的逻辑分组，HBase可以针对命名空间分配资源限额，指定HRegionServer子集，进行安全管理等。大多数配置更改后必须重新启动HBase集群才能生效，与HRegion压缩、拆分相关的参数可以动态更改，更改后在HBase Shell中执行update_all_config命令即可生效。...
2023-11-08 理论教育
-
医药数据聚类分析：第4章成果详细阅读
医学所关注的最核心问题就是相关性问题。胸痹心痛存在血瘀证一直是研究的热点，中医通过聚类分析证实血瘀证是胸痹心痛最危险的临床证型。有研究结果表明，血瘀证与冠脉狭窄属于距离最近的一类。本章主要讨论医药数据的聚类分析、相似度计算方法、KMeans算法、基于KMeans的药物聚类分析等问题和相关方法技术。一个好的聚类方法将会产生高质量的簇。...
2023-11-08 理论教育
-
医药数据关联规则分析：探讨详细阅读
通过方剂数据的预处理和关联分析，挖掘出基层知名老中医马祥治疗慢性胃炎处方的药对、药组和药四对。现有寒症诊断决策原始数据集，可利用关联规则分析哪些临床表现的组合会导致不同的诊断结果。例如，现有如下中医药治疗胰腺癌的处方数据，可进行关联规则分析用药规律。表2-6癫痫用药根据眼科诊疗数据，可挖掘H52.0远视、H52.2散光、H52.4老光之间的关联情况。...
2023-11-08 理论教育
-
启动Hadoop集群-大数据挖掘技术及其在医药领域的应用详细阅读
格式化命令如下，该操作需要在HadoopMaster节点上执行。看到如图9-46所示的打印信息表示格式化成功，INFO util.ExitUtil：Exiting with status 1，INFO namenode.NameNode：SHUTDOWN_MSG；如果出现Exception/Error，则表示出问题。图9-48Web UI查看集群是否成功启动检查Yarn是否正常。在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入http：//master：18088/，页面如图9-49所示。进入Hadoop安装主目录，执行下面的命令：完成后，会看到如下的执行结果，输出：Estimated value ofPi is 3.20000000000000000000，集群正常启动。配置Hadoop时，路径和实际Hadoop安装路径必须一致。...
2023-11-08 理论教育
-
大数据概述及其在医药领域的应用详细阅读
表5-1传统数据和大数据的特点大数据的主要来源：信息管理系统，企业内部使用的信息系统，如办公自动化、业务管理系统等。表5-2传统数据分析与大数据分析图5-1数据工程的技术框架大数据的整体技术：数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等。大数据计算与存储层。图5-2互联网大数据处理的技术体系...
2023-11-08 理论教育