智能汽车视觉里程计算法分类

2023-09-19 理论教育版权反馈

【摘要】：近年来，车载视觉里程计技术已经获得了许多研究成果。3）透视摄像机与全方位摄像机从所使用的摄像机类型来看，视觉里程计又可分为透视摄像机系统与全方位摄像机系统。视觉里程计中的两帧方案典型地来自SFM算法，也就是利用连续两帧图像的特征信息，来求解位姿变换。经典的视觉里程计系统大多基于这种计算框架。5）纯视觉系统与混合系统根据前文定义，仅仅依靠视觉信息输入的里程计系统被称为纯视觉系统。

近年来，车载视觉里程计技术已经获得了许多研究成果。接下来将从系统构成的角度，包括所利用的视觉信息类型、摄像机数量、摄像机类型、计算框架，以及是否与其他传感器融合等5个方面对其进行分类，详细介绍现有视觉里程计系统的研究进展。

1）离散方法与连续方法

从所利用视觉信息的角度分类，视觉里程计技术主要有基于特征的离散处理方法和基于光流（Optical Flow）的连续处理方法。早期研究主要是基于光流，利用摄像机拍摄的时间序列图像来估计光流，但它需要对图像亮度恒定性做出很强假设，即认为连续帧图像亮度基本不发生改变。而在实际应用中，由于遮挡、多光源、透明和噪声等原因，无法满足光流场的灰度守恒假设条件，不能求解出正确的光流场；同时大多数的光流方法相当复杂，计算量巨大。因此，近年来的研究主要集中在基于特征的离散处理方法。

2）单目视觉与双目视觉

从使用摄像机的个数来分类，视觉里程计可以分为单目视觉系统和立体视觉系统，其中立体视觉里程计绝大多数指的是双目视觉。在大部分情况下立体视觉的效果要优于单目系统，最主要原因在于，使用单目视觉会碰到尺度歧义问题，而采用立体视觉便不存在此问题。采用双目摄像机在尺度估计方面的优势，在于能避免艰难的相对姿态求解步骤，以及对运动退化良好的抵抗能力。根据现在的研究情况来看，采用单目视觉和立体视觉的方案各有其应用场合，但也有分析认为：单纯依靠视觉进行摄像机姿态估计与运动复原时，双目立体视觉才是发展趋势。

3）透视摄像机与全方位摄像机

从所使用的摄像机类型来看，视觉里程计又可分为透视摄像机系统与全方位摄像机系统。当前大部分算法采用的依然是提供有限视角范围的透视摄像机。对透视摄像机来说，由于全局信息的缺乏，当摄像机姿态变化的幅度超出视野范围时，很容易出现估计的断档和失效。倘若需要对较大幅度的位姿变换进行估计，采用全方位摄像机的优点便凸显出来。对于接近球面视野的全方位摄像机来说，特征可以在视野中存在更多时间，空间上的扩大也使得特征匹配的正确程度大大提高。

然而，全方位摄像机视野的扩大是以牺牲分辨率为前提的，在需要精度非常高的应用场合采用全方位摄像机的算法仍需改进。

4）两帧方案与多帧方案

从恢复姿态所需要的图像的帧数来分类，视觉里程计系统可以分为两帧方案和多帧方案。其中多帧方案又可以依据计算方式分为“批处理”方式和递归方式两种。视觉里程计中的两帧方案典型地来自SFM算法，也就是利用连续两帧图像的特征信息，来求解位姿变换。经典的视觉里程计系统大多基于这种计算框架。

在多帧方案“批处理”算法中应用最广泛的是光束法平差（Bundle Adjustment）。全局的光束法平差算法是一种非常耗时的计算过程，其基本原理是迭代优化摄像机姿态以及点的三维坐标，从而获得最小化所有帧的重投影误差的最优最小二乘解，包括Levenberg-Marquardt最小化来求非线性解，以及高斯牛顿法加梯度下降等都常常被采用。光束法平差的计算结果精度非常高，但是计算效率非常低，以致无法在实时系统中使用，最初只用于离线仿真和参数优化等。直到关键帧概念被提出，该方法才开始在实时系统中应用，但是关键帧的选择又成为该算法中的又一个难题。因为如果两个连续关键帧之间没有足够的相对运动，对极几何约束计算便会成为一个病态问题；如果两关键帧之间间距过长，插值又不能产生精度足够高的计算结果。采用分层算法可以将一个大的图像序列递归地进行分裂，直至每个部分都只含有3帧图像。然后对每个3元组用光束法平差进行计算，从而避免了关键帧的选择问题。另外，光束法平差在众多的两帧算法系统中也得到了应用。这是由于两帧算法是增量式计算姿态的方法，不可避免地会存在累积误差，于是结合多帧方法来做精细化，以减小累积误差，增强鲁棒性，是一种很好的选择。

多帧方案的递归算法，也就是采用非线性滤波器来对系统进行递归估计。与两帧算法或光束法平差不同，多帧递归算法将非线性问题交给滤波器来做线性化逼近。其中，最常用的是扩展Kalman滤波和无迹Kalman滤波。前者利用高斯分布的特性进行精确的线性化，而后者则通过考虑高斯分布的无迹变换获得更好的估计。有研究者认为，UKF在处理非线性问题中虽然计算效率较低，但效果要优于EKF，因为对高斯分布UKF接近于3阶精度，而EKF仅接近1阶。采用迭代Sigma点Kalman滤波器，与采用一阶泰勒展开的传统EKF相比，基于Sigma点均值和方差传播的迭代优化能够获得更佳的估计结果，且收敛速度要快60倍。

在多帧递归方案中，一般基于Kalman滤波计算框架的系统都在特征匹配时做较强的约束，如极线限制等牺牲特征的数量来降低误匹配的程度，从而跳过异常值的问题。但是递归方案的另一个难题是，特征会消失，也会有新的特征进入，如何为此来改变状态量？针对这个问题，可以相应地采用变状态维数的滤波器或者采用并行的“子滤波器”来应对新进入的特征。

5）纯视觉系统与混合系统

根据前文定义，仅仅依靠视觉信息输入的里程计系统被称为纯视觉系统。这里提到的绝大部分算法都属于纯视觉系统，但是对于增量式的两帧视觉里程计的累积误差，除了光束法平差，也可以采用能提供全局定位信息的全球定位系统（GPS），或能够提供短期精度高的高频数据的惯性导航元件（IMU）等来改进系统性能。这种依靠其他传感器来辅助视觉进行定位导航的系统被称为混合系统。它们大都是基于非线性滤波器，如EKF，UKF等的数据融合机制。其中，又以摄像机-IMU的融合系统应用最为广泛。然而引入附加传感器的做法可能会带来新的问题，如多传感器间位置关系的精确标定，正确的数据融合等，仍需要进一步研究。

智能汽车视觉里程计算法分类

相关推荐