首页 理论教育支持向量机分类方法优化为:掌握支持向量机的分类技巧

支持向量机分类方法优化为:掌握支持向量机的分类技巧

【摘要】:由线性判别函数的设计过程可知,对于线性可分集,总能找到使模式样本正确划分的解。d维空间中线性判别函数的一般形式为g=ωX+b,分类面方程为:ωX+b=0将判别函数进行归一化,使两类所有样本都满足|g|>1,这样分类间隔就等于2/‖ω‖。对于线性不可分问题,可以用类似于广义线性判别函数的方法,通过事先选择好的非线性映射将输入模式向量映射到一个高维空间,在这个空间中构造最优分界超平面。

线性判别函数的设计过程可知,对于线性可分集,总能找到使模式样本正确划分的解。一般说来,它有无穷多个解,希望找到一个最优的解。一种最优的分界准则是使两类模式向量分开的间隔最大。如图2.11所示是两类线性可分集被超平面隔开的情况(来源于文献[96]中图2.14)。图2.11(b)比图2.11(a)中两类样本分开的间隔要大,如果图2.11(b)中的H0是具有最大间隔的解平面,则称这个解平面是最优的,其中距离最优分界面最近的位于间隔边界上的那些模式向量就叫做支持向量。

图2.11 两类线性可分集最优划分示意图

设线性可分两类样本集为(Xi,Yi),i=1,…,n,X为特征属性,Y值为+1或-1,表示两个类别。d维空间中线性判别函数的一般形式为g(x)=ωX+b,分类面方程为:

ωX+b=0 (2.19)

将判别函数进行归一化,使两类所有样本都满足|g(x)|>1,这样分类间隔就等于2/‖ω‖。满足分类条件且‖ω‖最小的分类面就是最优分类面,最终转化为求极值解问题。

对于线性不可分问题,可以用类似于广义线性判别函数的方法,通过事先选择好的非线性映射将输入模式向量映射到一个高维空间,在这个空间中构造最优分界超平面。