研究现状：图像拼接技术

2023-06-28 理论教育版权反馈

【摘要】：而Richard Szeliski也成为了图像拼接领域的奠基人，这套理论已经成为了一个经典理论体系，现在许多人依然在这套理论基础上做进一步研究。因此M.Brown提出的理论大大地推动了图像拼接技术的发展，也将全景图拼接技术研究推向高潮。

早在1992年，英国剑桥大学的Lisa Gottesfeld Brown在文献中就总结了图像配准的主要理论及图像拼接技术在各个领域的应用，当时他的讨论主要还是着眼于医学图像处理、遥感图像处理等传统应用领域。时隔20年，图像拼接技术有了飞跃发展，目前在大面积场景观测、虚拟现实、视频压缩、视频检索以及高分辨率图像的获取方面也有了广泛应用。

1.大面积场景观测及视频监控系统

图像拼接技术可以用于场景观测，通过将卫星图片或航空照片或者水下摄像图片拼接成大范围的场景图片来实现对某一地区某一场景的整体勘察观测，比如高大建筑物高分辨率全景图像的获取、水下考古、海底探测以及遥感观测等。视频图像序列构造全景视图技术还可以用于现场操作员和指挥专家之间的远程协作系统和远程遥控系统，现场操作员通过头盔摄像机将现场拍摄的视频图像通过无线通信的方式传递给在远程的指挥专家，远程指挥专家在收到现场拍摄的视频图像后构建出现场的全景图像，然后根据现场情况提出建议并通知现场操作员进行相关的操作。

2.虚拟现实场景的构建

虚拟现实技术是利用计算机构建一个逼真的虚拟环境，即以仿真的方式给人们创造一个反映实体对象变化及其相互作用的三维世界，使得人们能够通过使用专用设备，就能像在自然环境中一样对虚拟环境中的实体进行观察与控制。在20世纪90年代，由于传统的基于图形绘制（GBR）的虚拟现实技术存在着明显的缺点，无法完全适应实际需要，人们提出一种基于图像绘制（IBR）的虚拟现实技术，通过许多相关的静止的图像进行连续的插值而实现场景的交互式浏览，这样大大降低了数据量，从而方便了图像数据的传输和保存。虚拟现实技术所需要的图像依赖于图像拼接技术，所以图像拼接技术有重要的研究价值。

3.视频压缩

图像拼接技术的另外一个重要应用是视频压缩。目前MPEG-4编码标准针对视频中背景对象的特点提出了Sprite编码方式。利用图像拼接技术将整个视频图像序列的背景内容拼接成一幅大的完整的背景全景图像，该背景在每一帧中出现过的像素点，在这幅大的背景全景图中都能找到对应的点，这样的图像就叫做Sprite图像。由于Sprite图像自身是不变的，因此只需传输一次，然后根据摄像机的运动参数在接收端重建背景，这样可以大大减少传输的数据量。这种编码方式可以很大程度上提高视频压缩效率。

4.视频检索

视频流帧间存在大量冗余信息，利用图像拼接技术去除冗余，将分散在各个视频帧中的信息集中起来表示成整体的场景，这种紧密重组提供了对内容的非线性浏览和高效的索引，可以有效地对感兴趣的信息进行直接快速存取、编辑注释等操作。

从具体算法角度来讲，国际上在1996年由Richard Szeliski提出了基于运动的全景图像拼接，该算法是图像拼接领域的一个里程碑式算法。它是采用了Levenberg-Marquardt最优化算法使得两幅图像的亮度差最小，进而求出图像间的变换关系，此方法效果比较理想，还可以处理平移、旋转、仿射等多种图像变换。而Richard Szeliski也成为了图像拼接领域的奠基人，这套理论已经成为了一个经典理论体系，现在许多人依然在这套理论基础上做进一步研究。2000年，Shmuel Peleg，Benny Rousso等人做了进一步的改进，提出了一种自适应的图像拼接算法，它是依据摄像机的不同运动方式，自动选择合适的拼接模型。这一研究成果推动了图像拼接技术的发展，由此，拼接的自适应性成为图像拼接领域研究的热点。在2003年ICCV大会上，M.Brown发表了一篇名为《Recognising Panoramas》的文章，文中使用了基于尺度不变特征的匹配算法进行图像拼接，并采用多分辨率的思想进行图像融合，将低频信息与高频信息采用不同的方式进行融合，既保证了细节信息，也保证了背景信息，该算法的自适应性好，并且效果理想。因此M.Brown提出的理论大大地推动了图像拼接技术的发展，也将全景图拼接技术研究推向高潮。

国内关于图像拼接技术的研究也发展较快。1997年，浙江大学CAD＆CG国家重点实验室研究并提出一种自动拼接算法，该算法是基于模板匹配的思想进行搜索，确定最佳匹配方式。1998年，Paul Bao运用小波变换的优良性质提出一种图像拼接算法，该算法结果精度高，拼接效果好，但是小波变换同傅里叶变换一样存在效率低的缺点，需要进一步改进。2001年，清华大学的研究人员提出了一种新的图像拼接算法，研究算法效率与精确度的关系，将摄像机固定在特殊的三脚架上，使其绕垂直轴旋转拍摄，最终取得了不错的拼接效果。同年，华中科技大学的研究人员通过研究图像变换关系模型，提出了基于特征点的改进拼接算法，它是首先运用相关法提取特征点，再计算变换模型生成全景图的算法。2002年，杜威等人对动态全景图做了相应研究，提出了一种能够处理动态场景的全景图表示方法，把视频和全景图结合起来，生成动态全景图。在国内比较优秀的拼接算法是在2004年由赵向阳、杜立民提出的一种基于特征点匹配的拼接算法，它首次将角点匹配与变换参数鲁棒估计引入图像拼接，虽然说大部分都是国外经典算法，但是该论文的主要贡献是将这些算法有机地组合起来，并取得理想效果。在此基础上，2008年，马丽涛等提出一种基于条件数的配准算法，其主要思想是：在角点特征的基础上，研究分析噪声对图像之间的变换关系的影响程度，然后筛选出具有稳定性的角点，提高了匹配的准确度。

研究现状：图像拼接技术

相关推荐