首页 理论教育贝叶斯决策理论:处理模式分类问题的基本理论

贝叶斯决策理论:处理模式分类问题的基本理论

【摘要】:贝叶斯决策理论是统计方法处理模式分类问题的基本理论之一。那么,利用贝叶斯公式可以得到后验概率基于最小错误率的贝叶斯决策规则为:如果,也就是说,如果p,那么将模式x赋予类ωi,即x∈ωi。上述理论中,每个类的出现概率以模式的条件概率密度函数必须是已知的。由于这些原因,贝叶斯决策理论在实际应用中通常要假设各种概率密度函数的解析式,以及从每类样本模式估计的必要参数。

贝叶斯决策理论(Bayesian Decision Theory)是统计方法处理模式分类问题的基本理论之一。假设研究的分类问题有N个类别,每个类别ωii=1,2,…,N)出现的先验概率为P (ωi)。在特征空间已经观察到某个特定的模式x,且条件概率密度函数p (xωi)是已知的。那么,利用贝叶斯公式可以得到后验概率

基于最小错误率的贝叶斯决策规则为:如果978-7-111-38182-2-Chapter10-23.jpg,也就是说,如果p978-7-111-38182-2-Chapter10-24.jpg,那么将模式x赋予类ωi,即xωi

上述理论中,每个类的出现概率以模式的条件概率密度函数必须是已知的。前者的获取通常并不构成问题,比如,当所有类的出现概率大致相同,则可令P(ωi)=1/N,即使这个条件不正确,我们也可以通过对问题的认识推算出这些先验概率。而后者的估计就是另一回事了,如果模式向量xn维的,那么p (xωi)就是一个n元函数,如果它的形式是未知的,就需要使用多元概率理论的方法对它进行估计。这类方法在实际应用中非常困难,尤其是代表每个类别的模式数目不大,或隐含的概率密度函数形式的规律性不强时更是如此。由于这些原因,贝叶斯决策理论在实际应用中通常要假设各种概率密度函数的解析式,以及从每类样本模式估计的必要参数。目前,对p (xωi)的最为普遍的假设形式是高斯概率密度函数[8]