1.计算先验概率和条件概率
本节的朴素贝叶斯算法是通过计算先验概率和条件概率实现对药品安全舆情话题的分类。算法中，计算先验概率是通过计算每个类的文档在总训练类中占的比例，即先验概率P（a）=类a下文档总数/整个用来训练模型的样本的文档总数；计算条件概率是通过计算每类文档中各词语在文档中出现的次数统计加和在每类中词语的总统计数与不重复的词语的总统计数之和中占的比例。具体过程如下所示：
Step1 DocOfClassMap，获取训练模型时统计的训练集的样本数量和每个类下单词的数量，输入处理后的测试数据，测试数据格式〈〈class doc〉，wordl word2...〉，构建新的〈类别，概率〉键值对；
Step2 DocOfClassReduce，对数据进行循环遍历并进行输出，对第一次循环先进行赋值，然后再进行比较，当期概率更大时进行更新。
Step3 GetPriorProbably（String docNum），根据上述步骤结果计算先验概率，利用该静态函数计算每个类的文档在总类中占的比例，即先验概率P（a）=类a下文档总数/整个用来训练模型的样本的文档总数。
Step4 GetConditionProbably（String wordCount），根据上述步骤结果计算条件概率，条件概率通过计算每类文档中各词语在文档中出现的次数统计加和，在每类中词语的总统计数与不重复的词语的总统计数之和中占的比例。
2.算法流程
算法执行过程如下：
Step1执行命令
Step2预处理数据
Step3在Hadoop平台利用数据训练的过程，并输出模型
BayesClassify.main（new String［］｛trainData，docNum，wordCount｝）；(www.chuimin.cn)
Step3.1 DocNums_Map，它继承Mapper，主要实现对训练集数据各类别名的读写；DocNums_Reduce，继承Reducer，成为自定义的Reducer，主要业务逻辑就是复写其中的reduce函数，实现对训练集各类别下文档遍历并统计每个类对应的文件数量；
Step3.2 WordCount_Map继承Mapper，实现对训练集数据各词语的读写；WordCount_Reduce，继承Reducer，实现对训练集各类别下词语遍历并统计每个类下词语数量。
Step4用输出的模型对测试集文档进行分类测试，输出每个测试文档的分类结果
Step4.1 WordMapper，继承Mapper，实现对测试集数据各文档和词语的读写；WordReducer，继承Reducer，实现对测试集数据各类别下词语遍历并统计每个类下词语数量；
Step4.2 DocOfClassMap，输入处理测试数据，测试数据格式〈〈class_doc〉，word1 word2...〉，设置HashMap〈String，Double〉classProbably为先验概率；HashMap〈String，Double〉wordsProbably，为条件概率。DocOfClassReduce，循环遍历输出，当概率更大时就更新tempClass和tempProbably；
Step4.3 GetPriorProbably（String docNum），计算先验概率，利用该静态函数计算每个类的文档在总类中占的比例；
Step4.4 GetConditionProbably（String wordCount），计算条件概率。
Step5利用测试文档的真实类别，计算评价指标
Step5.1 OriginalDocOfClassMap，读写原本的文档分类，得到文档分类的类别；Reduce，计算得出初始情况下各个类有哪些文档。
Step5.2 ClassifiedDocOfClassMap，读取经贝叶斯分类器分类后的结果文档〈Doc，ClassName概率〉，并将其转化为〈ClassName，Doc〉形式；Reduce，计算得出经贝叶斯分类后各个类有哪些文档。
Step5.3 GetEvaluation，利用所选评价指标评价算法。
有关大数据挖掘技术及其在医药领域的应用的文章
格式化命令如下，该操作需要在HadoopMaster节点上执行。看到如图9-46所示的打印信息表示格式化成功，INFO util.ExitUtil：Exiting with status 1，INFO namenode.NameNode：SHUTDOWN_MSG；如果出现Exception/Error，则表示出问题。图9-48Web UI查看集群是否成功启动检查Yarn是否正常。在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入http：//master：18088/，页面如图9-49所示。进入Hadoop安装主目录，执行下面的命令：完成后，会看到如下的执行结果，输出：Estimated value ofPi is 3.20000000000000000000，集群正常启动。配置Hadoop时，路径和实际Hadoop安装路径必须一致。......
2023-11-08
图9-37解压Hadoop的jar文件2.配置Hadoop-env.sh使用gedit打开Hadoop-env.sh，配置JDK的路径。......
2023-11-08
KMeans可能由于初始值选择的不同，导致最终的结果不同。图4-4KMeans算法迭代过程假设对于相同的样本数据，若随机选择的两个初始点为序号4和7。对于同一个数据集，由于KMeans算法对初始选取的聚类中心敏感，因此可用该准则评价聚类结果的优劣。通常，对于任意一个数据集，KMeans算法无法达到全局最优，只能达到局部最优。......
2023-11-08
从频繁项目集中生成所有可信关联规则，置信度大于minconf的规则为可信关联规则。C3：｛柴胡，黄芩，清半夏｝：2F3：｛柴胡，黄芩，清半夏｝：23.Apriori算法流程4.候选项集生成算法候选项集生成算法根据长度为k-1的频繁项目集Fk-1，经过两个步骤生成长度为k的候选项集Ck。......
2023-11-08
决策树可以用来对未知样本进行分类。决策树分类算法使用场景，这个监督式学习算法通常被用于分类问题，它同时适用于分类变量和连续因变量。信息增益是决策树常用的分枝准则，在树的每个结点上选择具有最高信息增益的属性作为当前结点的划分属性。......
2023-11-08
大数据的表现形态。实时性，大数据的实时性，体现为数据更新的实时性。重新定义大数据的本质特征。大数据的其他特征。图1-1大数据的4V特性图1-2大数据的价值大数据价值，如传统实时路径只能监控主要道路的交通状况，而现在使用出租车或私家车的数据将产生海量实时轨迹数据。事实上，应该关注大数据的本质特征，关注实际的问题需求，关注大数据的思维，关注大数据的实践。......
2023-11-08
随机森林是通过将很多的决策树组合而成的，随机森林采用CART算法。另外，针对CART的分类树和回归树，它们的计算方法有所不同，数值型和分类型属性变量的计算方法也存在差异。CART算法使用Gini系数来度量对某个属性变量测试输出的两组取值的差异性。表3-8C4.5算法和CART算法比较......
2023-11-08
确定数据挖掘所需要的数据，对数据进行描述，初步探索数据，检查数据的质量。对各个模型进行评价，选择数据挖掘模型，建立模型。把数据挖掘模型的结果送到相应的管理人员手中，对模型进行日常的监测和维护，定期更新数据挖掘模型。在结果分析部分，解释并评估结果，其使用的分析方法一般应依数据挖掘操作而定。图1-13根据医疗业务诉求确定数据处理方案......
2023-11-08
相关推荐