机器学习一般根据处理的数据是否存在人为标注可分为监督学习和无监督学习。因此，监督学习的根本目标是训练机器学习的泛化能力。总之，机器学习就是计算机在算法的指导下，能够自动学习大量输入数据样本的数据结构和内在规律，给机器赋予一定的智慧，从而对新样本进行智能识别，甚至实现对未来的预测。机器学习的一般流程如图6-1所示。......
2023-06-28
Spark+Hadoop机器学习算法在基因表达数据中的应用
【摘要】：Spark技术为基于内存的开源计算，Spark生态系统在机器学习领域的重要应用MLlib具有很多常用算法，实现了K-means等多种分布式机器学习算法。本章探讨Spark+Hadoop技术的机器学习的深度和广度提升了大数据分析的效率，适应迭代式机器学习模型的特定需求，分析数据中的关系以获得规律来预测新样本，对数据进行收集、统计和分析。
Hadoop技术在分布式平台开发和运行处理大规模数据方面功能强大，Mahout为一些机器学习算法框架库，但Mahout基于MapReduce计算框架，不适合处理迭代算法。Spark技术为基于内存的开源计算，Spark生态系统在机器学习领域的重要应用MLlib具有很多常用算法，实现了K-means等多种分布式机器学习算法。本章探讨Spark+Hadoop技术的机器学习的深度和广度提升了大数据分析的效率，适应迭代式机器学习模型的特定需求，分析数据中的关系以获得规律来预测新样本，对数据进行收集、统计和分析。随着信息技术深度的发展，积累的数据量产生了TB、PB、EB级数据量。传统计算机的软硬件不能支持足够庞大的数据量的存储、管理及数据分析能力，因此，针对大数据的分布式处理技术随之产生，主流的大数据处理技术有Hdoop和Spark。Hdoop技术能存储与处理大数据，但不能满足迭代运算需求；Spark技术作为基于内存计算大数据处理技术，以其高速、多场景适用等特点成为大数据处理技术的后起之秀。Spark中的Spark SQL、Spark Streaming、MLlib和graphX被广泛应用在各领域。作为人工智能分支的机器学习，其目标是机器不通过编程就能自学习并对特定对象实现问题的解决。大数据分析及机器学习技术之间有着高度的依赖，在相应领域中实现其特定功能，解决现实世界中不同领域的同一性质问题［159］。(www.chuimin.cn)
有关差异表达基因检测数据分析研究的文章
- 详细阅读
-
基于大数据技术的机器学习算法应用分析详细阅读
Hadoop可编写和运行分布式应用以及处理大规模数据，Mahout为一些机器学习算法框架库，但Mahout基于MapReduce计算框架，不适合处理迭代算法。因此，基于Spark和Hadoop框架结合的机器学习算法，要解决Mahout在应用迭代算法处理数据时消耗资源过多和系统整体性能下降的缺陷，提高数据处理分析的速度。基于MapReduce框架编写的Mahout机器学习库，使用HDFS技术在云基础架构上能够满足对大数据的存储要求，但I／O资源消耗过大造成系统整体性能降低［155］。......
2023-11-21
-
基因芯片应用研究：差异表达基因检测数据分析详细阅读
在农作物的基因育种方面，基因芯片技术已经成为育种工作的一项重要手段，利用基因芯片技术可以在多样本、高通量群体中进行基因筛选，从而找到携带目的基因的优良个体，充分利用有利的基因序列资源，创造方便、快捷的育种工作环境。近几年来，以基因芯片技术为代表的生物芯片技术迅速发展，使人类科学技术的研究有了阶段性的进步，对科学技术的发展产生了巨大的影响［32-34］。......
2023-11-21
-
基于Spark+Hadoop的机器学习研究详细阅读
基于Spark+Hadoop处理技术的机器学习使得样本数量大量增加，以大量样本作为基础实现问题的分类求解。Spark不仅具有Hadoop MapReduce数据处理技术的优点，而且可以适用于需要迭代MapReduce算法的数据处理与机器学习等。通过大数据技术Spark+Hadoop进行全量数据分析，解决统计／机器学习依赖于数据抽样且不能精准反映全集的问题，揭示其全量数据分析而能精准反映全集的机理。......
2023-11-21
-
差异表达基因检测数据分析结果详细阅读
差异表达基因检测不仅具有统计学意义，而且具有生物学意义，在医学临床诊断、药物疗效判断、揭示疾病发生机制等方面都有重要的作用。在医学研究中，癌症差异表达基因检测就是一个重要的问题。差异表达基因检测统计方法的目的是识别由于实验环境变化而引起的表达水平改变的基因［43］。在基因芯片数据分析中，差异表达基因检测的传统方法通常是假定所有癌症组样本相对于正常组样本都具有过高或过低的表达。......
2023-11-21
-
算法分析-差异表达基因检测方法的比较分析详细阅读
在COPA方法的基础上，Tibshirani等人在2007年提出的OS方法引入了分位数做启发式规则附加表达值，进行差异表达基因检测。由于差异估算中用正常组样本中值代替了全部数据的中值，ORT方法比COPA方法和OS方法恰当地估计了两组数据的差异。COPA方法和OS方法随差异数目的增加，性能有所降低。Lian在2008年提出的MOST方法隐性地考虑了差异基因表达强度临界值所有可能的取值，通过确定其统计量最大值来确定阈值，从而检测差异表达基因。......
2023-11-21
-
差异表达基因数据集详解详细阅读
真实数据的乳腺癌基因寻找结果采用乳腺癌的数据，即包含7 129个基因，49个乳腺癌样本，其中正常组样本数为25，癌症组样本数为24。单基因水平研究标准化最简单的方法是从所有log-ratios强度扣除一个它们值的均值或中值的常数，以实现数据转换［47］。......
2023-11-21
-
关系代数表达式算法-数据库技术应用教程详细阅读
下面给出关系表达式的优化算法。利用等价变换规则把代数式变换为σF1（σF2（…对每一个选择，利用等价变换规则～尽可能地移到树的叶端。尽管这种变换似乎违背“投影尽可能先做”的原则，但这样做效率更高。把上述得到的语法树的内节点分组。也可以把这些单目运算单独分为一组。生成一个程序，每组节点的计算是程序中的一步。各步的顺序是任意的，但要保证任何一组的计算不会在它的后代组之前计算。......
2023-11-24
相关推荐