图像检索方法实验结果与分析

2023-06-28 理论教育版权反馈

【摘要】：每一类的100幅图像被设定为识别的标准结果。图像匹配所用到的图像组在平面内旋转的角度范围是30°～45°，视点变化的范围是50°～60°，缩放变化的尺度因子是2～2.5，最终的实验结果是取各个实验数据的平均值。本章将本书提出的图像检索方法与利用以上四种特征的检索方法进行对比，实验结果如图5-17所示。

1.实验环境

（1）硬件环境

普通DELL台式计算机一台，基本配置为P（R）D／3.4GHz／1.00G／160G／19in（英寸）。

（2）软件环境

WindowsXP操作系统，Visual Studio C++6.0开发平台，Matlab2007b，OpenCV函数库。

2.实验数据来源

Mikolajczyk等人构造的图像库^[7]可以用于从不同角度对局部特征描述子进行性能测试。该库中含有8组（每组6幅）PPM格式的图像，大小为765×512到1000×700像素不等，分别代表5种不同的图像变换：视点变化（两组图像）、尺度变化（两组图像）、图像噪声（两组图像）、JPEG压缩、光亮度变化。

本章图像拼接实验所用到的数据是无人机在黄河上空拍摄的凌汛图像序列以及在太原火车站上空拍摄的图像序列，每幅图像皆存储为JPEG格式，大小分别为4727×2848像素和3888×2592像素。这些可见光图像都来自普通的航拍CCD相机或摄像机，传感器设备位于飞机底部的一个近似固定视点，相邻图像间有不小于16％的重叠，拍摄所有图像时焦距基本保持不变。

Wan从Corel标准测试图像库中挑选出来的图像被广泛应用于对图像检索的效果验证（见1.3节）。如图5-11所示，包含非洲原始居民、海滩、建筑物、公交汽车、恐龙、大象、花卉、马、雪山、食品10类共计1000幅彩色图像，皆存储为JPEG格式，大小为256×384像素或384×256像素。每一类的100幅图像被设定为识别的标准结果。

图5-11 Corel图像库示例

实验1：局部特征在目标匹配中的性能比较

本章实验测试的局部特征有第2章介绍的GLOH、SIFT、PCA-SIFT、SC（Shape Context）、不变矩（Moment Invariants，MI）和导向滤波器（Steerable Fil-ters，SF），所用的衡量性能的标准为3.4.2节所提到的查准率（Precision）、查全率（Recall）。图像匹配所用到的图像组在平面内旋转的角度范围是30°～45°，视点变化的范围是50°～60°，缩放变化的尺度因子是2～2.5，最终的实验结果是取各个实验数据的平均值。在匹配策略上，本实验采用5.2.1节所提到的最近邻特征和次近邻特征的距离比值，变动该阈值的上限t，形成了图5-12所示的曲线图。

图5-12 局部特征描述子的性能比较

注意实验中性能评价是建立在对同一物体或场景的匹配识别上的，而且在具体过程中可以发现每种局部特征都有一定的适用范围，例如，SC描述子在形状特征明显的目标匹配中效果很好，但在纹理图像和非刚性目标的识别中效果不佳。在低维描述子中，不变矩和导向滤波器的性能要略胜一筹。但总体看来，SIFT和GLOH特征的性能最为稳定，应用也比较广泛。

图5-13是在不同视点对同一场景进行拍摄的两幅图像，上图是站在地面上的平视拍摄，下图是站在河床底部的仰视拍摄。从匹配效果可以看出，SIFT特征描述子极大地消除旋转、光照和尺度变化等因素的影响。

实验2：航拍图像序列拼接

本章实验的目的正是在飞行器和相机具体参数未知的情况下快速拼接航拍图像，不依赖复杂的相机标定设备、旋转台和陀螺仪等；并尽量降低对航拍的限制条件，允许图像之间较大的亮度差异以及相机的轻微晃动等；特殊设备拍摄的照片以及在精确参数下的图像拼接不在本书的研究之列。

图5-14a是无人机航拍的黄河凌汛的一组照片，图像上主要是自然景物地貌，人造目标比较少，这对于计算机自动拼接是一个挑战。但如图5-14b所示，本书利用SIFT特征进行拼接方法十分稳健，局部特征提取技术减少了噪声干扰和光照变化的影响；多分辨率技术的应用也有效地降低了图像配准的计算开销；

图5-13 利用SIFT特征进行目标匹配

图5-14 黄河凌汛的航拍图像拼接结果

a）关于黄河凌汛的航拍图像序列 b）拼接后的效果

通过比较最近邻点和次近邻点的距离的方法也可以有效地剔除“外点”。

图5-15 太原火车站的航拍图像拼接结果

a）太原火车站的航拍图像序列 b）拼接后嵌入地图的效果

图5-15a所示为无人机在太原火车站上空拍摄的一组照片，图5-15b所示为其拼接后嵌入地图的效果。可以看出，计算机自动拼接后的航拍图像在严格对应于地理信息系统时还存在一些问题。但从一般意义上讲，这部分内容并不属于图像自动拼接技术的研究范畴，可以在下一步工作中引入人机交互的方法，根据相关参数对拼接图像进行几何校正。

本书提出的方法也适用于航拍视频图像拼接，图5-16所示为从一段空中鸟瞰城市的视频里抽取图像进行准实时拼接的效果。这也表明本书介绍的方法稳定、可靠，在保证运算速度的同时依然能够取得很好的视觉效果。

图5-16 航拍视频图像拼接结果

实验3：基于局部特征的图像检索

近年来，可伸缩颜色描述符（Scalable Color Descriptor，SCD）、基于曲率尺度空间（Curvature Scale Space，CSS）的形状描述符、欧拉向量（EulerXor）广泛应用于基于内容的图像检索领域。SCD是MPEG-7推荐的四个可以独立运用的颜色描述符之一，CSS也是MPEG-7指定的形状描述方法，EulerXor是灰度图像的组合特征，它们都具有维数小、计算简便、对平移和旋转不敏感的特点。本章将本书提出的图像检索方法与利用以上四种特征的检索方法进行对比，实验结果如图5-17所示。

由于Corel图像库中每类图像的颜色特征比较明显，对类别的区分度较高，SCD的效果非常好；相对而言，利用GLOH特征的模板匹配方法（GLOH-TM）效果最差，这是因为匹配方法过于简单，没有对特征进行相应的处理；而通过对局部特征进行组合优化，利用GLOH特征的原型匹配方法（GLOH-PM）的检索效果和SCD差距很小，整体表现比较稳定。

图5-17 五种图像检索方法的性能比较

图像检索方法实验结果与分析

相关推荐