支持向量机分类器的应用介绍

2023-06-28 理论教育版权反馈

【摘要】：支持向量机是Vapnik及其合作者［130］根据结构风险最小化原则提出的一种在高维特征空间使用线性函数假设空间的学习系统。支持向量机是机器学习领域若干标准技术的集大成者。在若干挑战性的应用中，获得了目前为止最好的性能。，xn)′标记为正类，否则，将其标记为负类。图3-4 二维训练集的分开超平面(w,b)图3-5 最优超平面对于多个模式类的分类问题，输出域是Y={1，2，…

支持向量机是Vapnik及其合作者^［130］根据结构风险最小化原则提出的一种在高维特征空间使用线性函数假设空间的学习系统。支持向量机是机器学习领域若干标准技术的集大成者。它集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。在若干挑战性的应用中，获得了目前为止最好的性能。

1.线性分类

两类模式（正类和负类）的识别通常用一个实数函数f：X⊆Rⁿ→R（n为输入维数，R为实数）。通过执行如下操作：当f(x)≥0时，将输入x=(x₁，x₂，…，x_n)′标记为正类，否则，将其标记为负类。当f(x)(x∈X)是线性函数时，f(x)可以写成如下形式：

式中，(w，b)∈Rⁿ×R，是控制函数的参数，决策规则由函数sgn（f(x)）给出，通常sgn（0）=1，学习意味着要从数据中获得这些参数；“·”是向量点积。

该类方法的几何解释是，方程式〈w·x〉+b=0定义的超平面将输入空间X分成两个部分。如图3-4所示，黑斜线表示超平面，w是超平面的法线方向。当b值变化时，超平面平行于自身移动。因此，如果表达Rⁿ中所有可能的超平面，一般要包括n+1个可调参数的表达式。

如果训练数据可以无误差地被划分，那么，以最大间隔分开数据的超平面称为最优超平面，如图3-5所示。

图3-4 二维训练集的分开超平面(w,b)

图3-5 最优超平面

对于多个模式类的分类问题，输出域是Y={1，2，…，m}。线性学习器推广到m(m∈N，m≥2)类是很直接的：给每个类关联一个超平面，然后，将待分类的数据点赋予超平面离其最远的那一个类。输入空间分为m个简单相连的凸区域。

2.线性不可分

对于非线性问题，可以把样本x映射到某个高维特征空间，在高维特征空间中使用线性学习器。因此，考虑的假设集是这种类型的函数：

式中，ϕ：X→F是从输入空间到某个特征空间的映射，如图3-6所示。也就是说，建立非线性分类器需要分两步：首先使用一个非线性映射函数将数据变换到一个特征空间F，然后在这个特征空间上使用线性分类器。

线性分类器的一个重要性质是可以表示成对偶形式，这意味着假设可以表达为训练点的线性组合，因此，决策规则（分类函数）可以用测试点和训练点的内积表示：

式中，l是样本数目；α_i是个正值导数，可通过学习获得；y_i为类别标记。如果有一种方法可以在特征空间中直接计算内积〈ϕ(x_i)·ϕ(x)〉，就像在原始输入点的函数中一样，那么，就有可能将两个步骤融合到一起建立一个非线性分类器。这样，在高维空间内实际上只需要进行内积运算，而这种内积运算是可以利用原空间中的函数实现的，我们甚至没有必要知道变换的形式。这种直接计算的方法称为核（Kernel）函数方法。