应用多元统计分析方法：基于R实验

2023-11-18 理论教育版权反馈

【摘要】：多元统计分析是统计学中应用性很强的一个分支，它的应用范围十分广泛．多元统计分析可以应用于几乎所有的领域，主要包括经济学、农业、地质学、医学、工业、气象学、金融、精算、物理学、地理学、军事科学、文学、法律、环境科学、考古学、体育科学、遗传学、教育学、生物学、管理科学、水文学等，还有一些交叉学科或方向等．多元统计分析的应用实在是难以一一罗列，以下简要地介绍一下多元统计分析在文学、数据挖掘（作为交叉学科

多元统计分析是统计学中应用性很强的一个分支，它的应用范围十分广泛．多元统计分析可以应用于几乎所有的领域，主要包括经济学、农业、地质学、医学、工业、气象学、金融、精算、物理学、地理学、军事科学、文学、法律、环境科学、考古学、体育科学、遗传学、教育学、生物学、管理科学、水文学等，还有一些交叉学科或方向等．多元统计分析的应用实在是难以一一罗列，以下简要地介绍一下多元统计分析在文学、数据挖掘（作为交叉学科或方向的代表）领域的应用．

在文学方面，自从20世纪30年代末，英国著名的统计学家Yule把统计方法引入到文学词汇的研究以来，这个领域已经取得了不少进展，其中最有名的是Mosteller与Wallace在20世纪60年代初对美国立国三大文献之一的《联邦主义者文集》的研究．

在1985至1986年复旦大学李贤平教授对我国名著《红楼梦》的原著者进行了研究．使用的统计方法主要是多元统计分析．先选定数十个与情节无关的虚词作为变量，把《红楼梦》一书中的120回作为120个样品，统计每一回（即每个样品）中选定的这些虚词（即变量）出现的频数．由此得到的数据矩阵作为分析的依据．

在《红楼梦》原著者的研究中使用较多的是聚类分析、主成分分析、典型相关分析等方法，由分析结果可以看出：

（1）前80回和后40回截然地分为两类，证实了前80回和后40回不是出于一个人的手笔；

（2）前80回是否为曹雪芹所写？通过曹雪芹的另一著作，做类似的分析，结果证实了用词手法完全相同，断定为曹雪芹一人手笔；(www.chuimin.cn)

（3）而后40回是否为高鹗写的？分析结果发现，后40回依回目的先后可分为几类，得出的结论推翻了后40回是高鹗一人所写．后40回的成书比较复杂，既有残稿也有外人笔墨，不是高鹗一人所续．

以上这些论证在红学界引起了轰动．他们用多元统计分析方法提出了关于《红楼梦》作者和成书过程的新学说．

李贤平教授等还把这类方法用于其他作家和作品，结果证明统计方法的分辨能力是很强的．

在数据挖掘方面，随着科学技术的发展，利用数据库技术来存储、管理数据，利用机器学习的方法来分析数据，从而挖掘出大量的隐藏在数据背后的知识，这种思想的结合形成了深受人们关注的非常热门的研究领域：数据库中的知识发现（knowledge discovery in databases）。数据挖掘（data mining）技术便是其中的一个最为关键的环节．数据挖掘、机器学习（machine learning）等为统计学（包括“多元统计分析”）提供了一个新的应用领域，同时也提出了很多挑战．多元统计分析中的聚类分析（cluster analysis）是按照某种相近程度，将用户数据分成一系列有意义的集合，例如在金融领域中，将贷款对象分为低风险和高风险等．数据挖掘是一个交叉学科，它涉及数据库、人工智能、统计学、并行计算等不同学科和领域，近年来受到各界的广泛关注．应该指出，Johnson& Wichern 在Applied Multivariate Statistical Analysis（6th ed．2007）中补充了“数据挖掘”部分，以及多元统计分析方法在数据挖掘中的应用．数据挖掘与统计学有着密切的关系，那么统计学如何为数据挖掘服务呢？这是在“数据挖掘”飞速发展的今天统计学必须回答的一个问题．令人高兴的是，现在可以从统计学在数据挖掘领域里的研究与应用情况看到对这个问题的各种回答．数据挖掘对统计学带来的挑战，无疑将推动统计学的发展（韩明，2001）．关于统计分析与数据挖掘，感兴趣的读者可参考相关文献（薛薇，2014）等．

应用多元统计分析方法：基于R实验

相关推荐