图像目标分割技术探究

图像目标分割技术历经数十年的发展，其中用到的算法种类繁多、不可胜数，虽然本书将图像分割分为狭义图像分割和目标分割，但这两者中的许多概念、思想和方法都有着非常密切的联系，而且前者是后者的重要基础。因此，不能简单地抛开狭义图像分割而谈目标分割，有必要对两者进行综合的分析和论述。

近年来，涌现了许多不同的图像分割分类标准，比如，按照用户参与的程度可分为自动、交互式与纯手工的分割方法；根据利用区域内相似性还是区域间相异性原理的区别可分为基于区域、基于边界或者两者结合的算法；依据分割结果的确定性与否可以分为软分割与硬分割等。这些划分都比较粗糙，不能很好地体现狭义图像分割与目标分割各自的特点，本节根据狭义图像分割与目标分割最显著的特点，即狭义图像分割一般通过数据驱动，而目标分割往往需要知识驱动，对两者展开介绍。

1.数据驱动的图像分割

图像分割算法一般基于亮度值的两个基本特性之一：不连续性和相似性^［8］。针对第1个特性，可以利用亮度的不连续变化分割图像，如图像的边缘。针对第2个特性，可以依据事先制定的准则将图像分割为相似的区域，门限处理、区域生长、区域分类和聚合都是这类方法的实例。围绕着这两个基本特性，传统的图像分割方法又可以粗分为基于边缘的分割、基于阈值的分割、基于区域的分割三个大类。

（1）基于边缘的分割方法

边缘检测是在灰度图像分割中广泛应用的一种技术，它基于在区域边缘处梯度变化剧烈的假设，试图通过检测区域间的边缘来达到图像分割的目的。在灰度图像中，梯度由相邻像素的灰度级差异表示，常用的灰度图像边缘检测算子有So-bel算子、Laplacian算子、Laplacian of Gaussian（LOG）算子、Canny算子等。

根据数学特性又将这些算子分为两类：与Sobel算子类似的称为一阶微分算子，而Laplacian算子、LOG算子、Canny算子均属于二阶微分算子。一阶微分算子利用的是图像在X或Y方向上的一阶导数在边缘处取极值或0的特性，而二阶微分算子则利用X和Y的二阶导数。在彩色图像中，边缘来自于三维颜色空间的突变，可以将现有的灰度边缘检测技术直接应用于彩色图像的每个分量，再根据一定的方法进行合并，常用的合并方法有均方根、求和、取最大绝对值等。

除了直接利用边缘检测算子提取图像边缘外，还有一些方法也相继被提出，如边缘松弛法、边界跟踪、图像滤波、多尺度变换和主动轮廓（Active Contour）等。如图2-7所示，基于边缘检测的方法仅利用了图像的梯度信息，当图像质量较好时定位精度高，但受噪声和图像质量的影响常常会检测出伪边缘，导致错误的分割结果。而且一组边缘像素点很少能完整地描绘目标的轮廓，因此，典型的做法是在使用边缘检测算法后紧跟着使用连接过程，将边缘像素组合成有意义的边界。

图2-7 对图像进行边缘检测

a）原图像 b）分割结果

（2）基于阈值的分割方法

阈值法是一种最为简单的利用颜色信息进行图像分割的方法，在灰度图像分割中，它基于这样的假设：同一区域的内部像素，它们的灰度值相似，但不同区域的像素灰度差异较大，其在灰度直方图上的反映就是不同的区域对应不同的波峰。则分割时，选取的阈值应位于直方图波谷处。按照选取域值的数量又可分为单阈值法和多阈值法。在单阈值分割中，分割的结果为两类区域；在多阈值分割中，分割的结果为多类区域。

对于彩色图像而言，由于其包含3个颜色分量，在三维直方图中确定阈值是比较困难的，如果阈值的选择分别在每个颜色分量上单独进行，则忽略了3个分量间的相关性，导致分割结果不准确。通常，彩色图像的阈值分割采用降维的方法，从三维颜色空间向低维投影，形成二维平面或一维直线，然后在低维上选择合适的阈值^［57］。

基于阈值的分割方法实现简单，但存在以下明显的缺点：对于不存在明显波峰和波谷的直方图（受噪声干扰，或者彩色图像各分量的直方图本身就可能不存在明显波谷），得不到满意的分割结果；仅考虑了图像的颜色（灰度）信息，而忽略了图像的空间信息，所以对噪声非常敏感，如图2-8所示，岸边的白色建筑物也被当做船体上的目标了。

图2-8 对图像进行二值化分割

a）原图像 b）分割结果

（3）基于区域的分割方法

基于区域的图像分割考虑了图像的空间信息，如图像灰度、纹理、颜色和像素统计特性等，进而将目标对象划分为同一区域的分割方法。常见的区域分割方法主要有：区域生长、区域分裂、区域合并和分水岭分割方法。

区域生长和区域分裂是两种典型的串行区域技术，区域生长法的基本思想是：根据一定的相似性原则，将满足这一原则的像素合并起来构成区域，其关键点是生长种子和生长准则的选取，效果如图2-9所示；而区域分裂法恰恰相反，则是将整幅图像作为原始分割结果，当分割结果不能满足一定的均匀、相似性时，就将其分裂，直到每个区域内部都相似为止。

图2-9 对图像进行定点区域生长

a）原图像 b）分割结果

两者结合的方法通常又称区域合并，它将相邻且具有相似的区域合并，而将明显不相似的区域进行分裂。基于区域生长、区域分裂的方法受噪声的影响比较小，效果优于阈值法，但区域生长依赖于种子点的选择和生长顺序，而区域分裂则可能会使边界被破坏。

分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，基本思想是将图像看做测地学上的拓扑地貌，像素的灰度值表示该点的海拔，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。缺陷：对噪声极为敏感，易产生过分割现象；相关研究人员^［8］提出了一种将分水岭算法与自动种子区域生长相结合的分割算法，有效解决了算法中过分割的现象，如图2-10所示。

2.知识驱动的目标分割

主动视觉理论^［14］的建立，为利用高层先验知识指导目标分割提供了强有力的方法和理论依据。近年来，越来越多的高层先验知识在计算机上通过各种形式表达出来，并且与低层图像特征相结合，共同指导图像目标分割。本节从分割过程中所采用的先验知识的种类出发，对各种目标分割方法进行分类阐述（目标分割往往采用多种先验知识，而不是单独一种，这里不作严格的区分）。

图2-10 对图像进行分水岭分割

a）原图像 b）分割结果

（1）外观信息

外观信息是对某一个或某一类目标（如人、汽车、草地、海、天空）外表特性或共性的描述，包括外观颜色、纹理等。典型的用于表示外观信息的方式有种子点、统计直方图、聚类、有限混合模型等，通常外观模型需要根据一定数量的样本数据，经过机器学习的方法训练而来。在应用外观信息进行目标分割的方法中，最简单的是Adobe公司的图像处理软件Photoshop中的魔棒工具（Magic Wand），它通过在一定容差范围内，寻找与用户指定的种子点相匹配的像素，完成目标分割，但由于通常情况下目标对象外观并非简单的由某几个种子点就能正确表达，而且它孤立的考虑颜色的匹配度而没有考虑到像素的空间相关性，所以分割效果常不能令人满意。

Wang等人^［58］以局部的目标对象和背景外观样本像素为起始点，利用信念传播方法不断地对周围像素进行前、背景估计，并同步更新外观颜色模型，随后又提出校验用于更新外观颜色模型的样本的方法，并成功地实现了实时的目标分割工具；Growcut利用细胞自动机的原理，以用户输入的目标和背景样本为起始点，迭代地对其外围像素进行“竞争蚕食”，最终实现稳定的“群落”而完成分割；随机游走计算其他像素随机游走到达各样本笔划的概率，取概率最高的笔划标签作为对像素的分割；Boykov等人^［59］利用灰度统计直方图作为外观模型，同时结合图像对比信息（利用相邻像素灰度级的L₂范数计算得来）进行图像和视频目标分割，并在其基础上结合基于level set的配准目标轮廓作为形状先验进行医学图像目标分割。在彩色图像分割中，大多采用高斯混合模型代替直方图模型来作为外观颜色模型。

（2）形变信息

形变信息通常由形变模型指定，形变模型一般指主动轮廓模型（Active Con-tour Model），是基于微分几何、弹性力学等数学和物理工具定义的一类具有变形能力的模型。由于主动轮廓模型一般是基于目标轮廓的正则化约束（如连续性、光滑性、封闭性等），而不是目标形状信息，所以也被称为自由形变模型（Free-form Deformable Model）。它又可分为参数化主动轮廓模型（Parametric Active Contour Model，PACM）和几何主动轮廓模型（Geometric Active Contour Model，GACM）。

最早的PACM由Kass等人于1987年提出，通常又称它为Snake模型。其原理就是使轮廓模型在外力和内力的作用下向目标的边界逼近，外力推动轮廓曲线向边界移动，而内力保持轮廓的光滑性。在数学上，轮廓可表示为参数曲线：

C (s)=[x (s)，y (s)]，s∈[0，1] （2-1）

而最终需寻找使下式中内能和外能加权最小的参数化曲线：

内部能量表示为

式中，α和β分别表示曲线的弹性和刚性系数。一阶项保证曲线被均匀且不过度拉伸，二阶项用来减小曲线的曲率。

外部能量表示为

E_ext (C)=-▽[Gσ (C)∗I (C)]² （2-4）

式中，I为灰度图像；∗为卷积算子；Gσ是标准差为σ的二维Gaussian函数。

PACM将目标对象轮廓的连续性、光滑性及封闭性等先验约束知识与低层图像特征（这里是边缘、梯度特征）巧妙的结合，有效地解决了原来目标边界提取时出现病态、没有唯一解的情况。但是，它也存在以下不足：模型初始化需人工参与且对初始位置较为敏感；曲线参数化后精度不高；求解能量时容易陷入局部极值；不具备拓扑结构自动变化能力（曲线分裂、合并），不能同时分割多个目标对象；外力场的作用范围小等。

针对参数化轮廓模型的不足，相关领域的研究人员主要从以下几方面对它进行了改进：在轮廓线方面，提出了基于B-样条的PACM，基于NURBS的PACM和用Fourier级数表示轮廓线的PACM；在轮廓线拓扑变化能力方面，T-PACM通过在图像区域建立三角网格解决了拓扑变化的问题；在求解能量函数的方法上，提出用有限元方法、神经网络、动态规划、贪婪算法和遗传算法等替换原来的有限差分法进行优化求解；由于外力场的作用是驱动轮廓曲线向目标边界运动，对于PACM的性能上起着至关重要的作用，故而成为PACM研究的关键，其中最为著名是气球力模型（Balloon Force）和梯度向量流模型（Gra-dient Vector Flow，GVF）。

GACM正在逐渐成为图像目标分割的研究热点，它是以曲线演化理论（Curve Evolution Theory）以及水平集方法（Level Set Method）为基础的活动轮廓模型。与PACM一样，它通过与低层图像特征结合来恢复目标对象的边界，不同的是GACM的轮廓线是用一个更高维水平集函数的等值曲线来隐含地表示的，通过不断更新这个水平集函数达到曲线演化的目的，而利用有效地更新水平集函数，即可随意地改变所表示曲线的拓扑，从而克服了PACM不能分割具有复杂边界或拓扑的目标，也不能同时分割多个目标等拓扑变化的问题。

（3）形态信息

形态（包括形状和姿态）信息是比正则化约束更具体、更高层的对目标的认识和理解，通常“有形”的目标在其形态上会存在共性以及局部范围的变化，对目标形态的描述就是对这种共性和变化的描述，通常的描述方法有基于原型的方法和基于解析式的方法。解析式方法是当目标形态的几何结构比较好，即可以由一族曲线或几何图形（近似的）表示时，通过参数化的解析式的方式来定义目标形态模型。解析式描述了目标形态的共性，而参数的定义域则确定了形态的变化范围。当目标形态不能通过解析式的方法确定时，基于原型的方法提供了较为合理的解决方案，它常以二值图像模板的形式来刻画目标形态，以一组具有代表性的模板来确定目标形态的变化范围，最后，通过匹配的方法与图像特征对应。

最典型的基于原型的方法是利用模板的平移、旋转、缩放等简单变换，使其与图像特征（如边缘）匹配，最后，自动进行目标轮廓提取。然而，实际情况是，同类目标个体存在差异，而不同类目标在形态差异可能更大，简单的变换并不能有效地解决这种差异。因此，除非模板库足够庞大，能包罗万象，否则因为这些差异导致的分割不准确将在所难免。可以利用主分量分析法对模板中的形态进行学习，得到平均形态和变形参数，而其主动外观模型（Active Ap-pearance Model）更是考虑形态模型内部的外观信息，在纹理图像分割方面表现突出。

在基于解析式对形态进行参数化描述的方法中，橡皮模型（Rubber Mask）以及画报结构模型（Pictorial Structure Model，PSM）是较早期的方法。Kumar等人^［60］利用学习而得的牛和马的LPSM，通过各层与图像低层特征匹配，结合各层的外观信息完成对牛和马的自动分割。如图2-11a所示，Wang等人^［61］利用人脸检测技术结合人体头和肩的解析式形态模型实现人体上身的定位，通过迭代图割优化不断地更新外观GMM实现对人体上身的自动分割。如图2-11b所示，骨架模型（Skeleton Model）也是一种常用的表示人体或铰链模型（Articulated Model）形态的模型，Kohli等人^［62］利用它实现了多视图间目标分割与姿态估计的同步。

图2-11 解析式形态模型举例

a）人体上身模型 b）骨架模型

（4）目标识别引入的信息

目标识别引入的信息通常是与目标对象所属的类相关的（Class-specific），是对目标形状、轮廓、外观等特征所具有的共性的提取和学习，通过图像中的角点、线、边缘、图像块等形式给出（典型的特征检测算子与描述算子见本书第4章内容）。Borenstein等人^［63］提出基于图像块（patch-based）的自动目标分割方法，直接采用包含目标局部形态、外观信息的图像块集合来表示目标（这些图像块由预先分割好的图像训练得到），该方法通过图像块与图像中待分割目标的匹配以及分割结果所应具有的全局一致性约束相结合，实现了对马这类图像目标的分割。随后，Borenstein又提出将基于图像块的高层信息与图像低层信息结合来改进当仅利用高层信息或仅利用低层信息时分割结果不精确的问题。

Levin等人^［64］提出利用CRF对基于图像块的高层信息与低层信息同时进行训练，使得仅需少量结合低层信息的图像块就能达到以往仅考虑高层信息时数百块图像块才能得到精确分割。Shotton等人^［65］提出的TextonBoost是一种新的基于texton（包括形状和纹理信息）的特征，并利用Boosting分类器对训练数据中目标的texton特征进行学习，最后通过将分类器结合到CRF中实现上下文相关的自动目标分割。Winn等人^［66］提出的自动目标分割方法基于局部组成部件的空间布局，考虑了相邻部件间的空间关系，允许部件的任意缩放。

图像目标分割方法与应用场景图像及应用目的有关，用于图像目标分割的场景信息也有亮度、色彩、纹理、结构、温度、频谱、运动、形状、位置、梯度和模型等。由于图像的多义性和复杂性，许多分割工作无法完全依靠计算机自动完成，而手工分割又存在工作量大、定位不准确的难题，因此，人们提出了一些人工操作和计算机自动定位相结合的方法，充分发挥各自优势，实现图像目标的快速分割。图2-12所示为刘陈博士设计的基于智能人机接口的即时过程式分割方法^［57］，当用户驱动鼠标对目标对象的边界进行跟踪时，智能画笔将动态地根据图像局部统计特征估计每个即时时刻目标分割计算所需的待分割区域、外观样本、目标轮廓等即时局部信息，快速计算局部分割结果并及时反馈。

图2-12 妇女图像即时交互分割过程截图及结果

图像分割算法的评估技术有很多种，一般通过建立统一的实验平台进行评估。给定一组测试数据以及其对应的真实分割结果（通常是人工确定的），在这组测试数据上进行实验并得到实际分割结果，然后通过比较计算耗时、错误率、整体一致性等指标，达到对分割算法的评估。考虑到评价的客观性，加州大学伯克利分校所发布的用于分割的标准图像库^[1]，被许多科研工作者作为测试图像数据的主要来源。