计算机视觉技术的应用领域：视觉测量技术

随着技术的发展，计算机视觉技术已广泛应用于工业自动化生产线、各类检验和监视、视觉导航、图像自动解释、人机交互与虚拟现实等各个领域。

1.在产品的分类与检测

计算机视觉中的应用技术已成功地应用于工、农、林等各个领域的产品分类检测，不但大幅提高了产品的质量和可靠性，而且提高了生产效率。

在工业生产中，计算机视觉技术可以自动检测各种机械零件的几何尺寸，测量其精度范围，目前已经用于产品外形检验、表面缺陷检验等。例如，对滑块及滑槽外形的检验及装配后位置的检验，可以决定它们能否装配在一起，并且准确无误地完成装配任务；对发动机内壁麻点、刻痕等缺陷的检查，可以决定产品的质量；通过X射线照相或超声探测获取物体内部的图像，可以实现内部缺陷检验，如钢梁内部裂纹和气孔等缺陷检验。另外，计算机视觉还可对零部件文字标识进行检测与识别。序列号由数字、字母和汉字等组成，以数字和字母居多，作为零部件的惟一身份标志，通常打印在电子元器件、集成电路板、大型工件成品的外表面上。这些序列标号或编码，如采用人工方式用眼睛对这些字符进行观察识别，将不能满足高效率、自动化生产的要求，并且字符在工件上的位置很多时候不便于人眼观察，人眼疲劳因素也会使检测结果不能从根本上得到保证。采用计算机视觉、模式识别、智能控制等技术可以有效地克服上述缺点，完成文字标识的自动检测与识别，提高生产效率，实现生产过程自动化。

在纺织、印染业中，计算机视觉技术可以完成自动分色、配色和产品成分与瑕疵检验等工作。例如，利用计算机视觉来进行羊毛的细度和羊绒羊毛的纤维含量分析，或对织造布、非织造布、丝绸的质量和工艺作出分析。

计算机视觉在农林业生产中的应用也日益广泛，主要表现在：

1）利用计算机视觉技术根据检测到的农产品的颜色、纹理等信息对其进行分级、检验和分类。例如，根据检测到的粒型、至白度等参数，将稻米分为不同等级；根据检测到的农作物的叶片信息，可以对不同的农作物进行分类；根据检测到的颜色、形状等信息，对苹果、柑橘等水果进行分类。

2）利用计算机视觉技术进行病虫害的监测。例如，根据检测到的棉花叶片的图像信息，用轮廓跟踪的方法确定棉花叶片上的虫蚀痕迹，对棉花生长过程中棉铃虫虫害的发病程度进行诊断。

3）利用计算机视觉技术对育苗、栽培、管理和收获等各个环节进行自动化管理等。例如，农作物长势是农作物田间管理的核心内容，可以通过检测到的颜色、形状、纹理、叶面积、茎粗、叶柄角度、苗高、节距、叶片反射特性等信息对农作物长势进行无损监测或者分析农作物的营养状况；根据检测到的农产品的尺寸、面积、颜色等信息指导机械手进行自动收割、摘取。

4）利用计算机视觉技术对家畜进行跟踪、饲养和管理。例如，在饲养场，可以通过视觉技术对实行放养管理的猪进行跟踪管理；根据检测到的奶牛的体形，可以确定其与产奶量等指标之间的关系。

5）利用计算机视觉技术对林业生产中木材的品质进行检测，如板材厚度与体积检测、板材表面粗糙度检测、木材材质及微观构造分析、板材表面缺陷检测、树种的识别和苗木参数测量等。

2.在医学中的应用

在医学领域，计算机视觉用于辅助医生进行医学影像的分析，主要利用数字图像处理技术、信息融合技术对X射线透视图、核磁共振图像、计算机层析成像技术（Computer Tomo-graphy，CT）图像进行适当叠加，然后进行综合分析；对其他医学影像数据进行统计和分析，如利用数字图像的边缘提取与图像分割技术，自动完成细胞个数的技术或统计，这样不仅节省了人力，而且大大提高了准确率和效率。

3.在视觉导航中的应用

（1）导弹精确制导

导弹的视觉导航主要应用于导弹接近目标时的末段制导，即在导弹的前部加装红外和可见光探测器，用于检测和识别目标，为导弹攻击提供目标参数。

有些国家投入了大量的人力、物力和财力开展视觉仿生技术在军事领域的应用研究。到目前为止，国内外学者对人类和其他生物的视觉机理进行了大量研究，并取得了丰硕的成果。在生物视觉机制及仿生技术方面研究较多的是鳖、蛙和蝇等动物复眼视觉系统及人眼视觉系统。鹰眼以其视野宽、目光敏锐著称，能在高空从许多相对运动的复杂背景中发现并捕捉目标。对鹰眼视觉原理进行分析，建立鹰眼视觉模型，这在军事领域中具有广阔的应用前景。

（2）无人机驾驶

无人机是无人驾驶飞行器（Unmanned Aerial Vehicle，UAV）的简称，如图1.5所示。它是由航模无人机发展而成的，是一种靠无线电遥控或按输入程序自主控制飞行，有动力、可控制，能携带多种任务设备，执行多种任务，并能重复使用的无人驾驶航空器。它主要由机体、动力系统、机内制导与控制系统、起飞和回收装置，以及侦察、电子设备等组成。在现代战争中，无人机发挥着举足轻重的作用。因为无人机不仅具有得天独厚的“无人”优势和侦察、打击、评估等“多面手”功能，而且也越来越符合现代化战争的新特点，即“非接触”和“零伤亡”的战争理念。除了在军事上扮演了重要角色，无人机在民用上也有着广阔的应用前途，可应用于场区监控、地球物理探矿、气象探测、公路巡视、勘探测绘、灾情监视、航空摄影、交通管理、电力线路巡查、森林火灾防救等。

无人机导航是无人机技术的重要组成部分，基于计算机视觉的无人机导航技术是目前无人机导航领域的研究热点。它涉及计算机视觉的目标捕获、定位、跟踪及测距等。基于计算机视觉的导航装置利用传感器获取航向附近的物体信息，对获取的图像进行图像处理、图像分析，通过对拍摄的景物进行识别及与已有的地形知识进行匹配等手段来确定航行装置准确位置。

图1.5 无人机

（3）智能车辆

为解决日益拥堵的交通问题，世界各国广泛开展智能交通系统（Intelligent Transportation System，ITS）的研究。智能车辆作为其中的重要组成部分越来越受到人们的关注。智能车辆技术的关键是快速准确地利用车载传感器获取前方道路环境信息。通常采用的检测技术包括计算机视觉技术、雷达技术、磁性导航技术等。其中，视觉传感器与其他传感方式相比具有如下特点：①图像信息含量丰富，信息获取面积大，可同时实现道路检测和障碍物识别；②视觉传感器属于被动传感器，无需破坏路面和对现有道路设施进行变动；③无需与道路或其他车辆进行交流，即可获得比较完整的路况和车辆信息，维护费用低，且不会对环境造成污染。因此，计算机视觉技术非常适合于道路的检测与跟踪。在车辆辅助驾驶或自动驾驶系统中，视觉传感器如人的眼睛一样，可以检测出道路信息和障碍物信息与车辆的相对关系，进一步运用控制系统来掌控车辆的驾驶行为。目前，典型的基于计算机视觉技术的车辆导航系统有美国卡耐基梅隆大学的Navlab智能车的RALPH视觉导航系统，意大利帕尔玛大学的ARGO智能车的GOLD视觉系统，德国联邦国防大学的VaMoRs智能车的BVV视觉系统等。

（4）移动机器人

移动机器人是一种集环境感知、动态决策与规划、行为控制与执行等多种功能于一体的综合系统，在机器人学领域中占有重要的地位。在移动机器人的各项研究和应用中，导航（Navigation）是最基本和最重要的问题。Durrant Whyte H等人将机器人的导航研究归结为“我在哪里（Where am I）？”、“我要去哪里（Where am I going）？”及“如何到达那里（How do I get there）？”三个问题，即定位、目标识别、路径规划三大问题。其中解决“我在哪里？”问题的自主定位是移动机器人技术的基本环节。

为了实现导航的基本任务，移动机器人需要依靠本身装配的传感器实现对内部本体姿态和外部环境信息的感知；对于传感器采集到的数据，经过融合处理，并以精炼的知识表达实现对环境空间的描述；通过这些环境空间信息的存储、识别、搜索等操作，寻找最优或近似最优的无碰撞路径而实现安全的运动。

移动机器人在完成准确的本身定位之后，可采用的具体导航方式包括电磁导航、光反射导航、视觉导航、味觉导航、声音导航等。其中，视觉导航方式因具有信号探测范围宽、信息获取内容全等优点而成为移动机器人导航的一个主要发展方向。在视觉导航系统中，视觉传感器可以是摄像机（包括单向、全向及双目等CCD摄像机）、激光、雷达等环境感知传感器，主要完成运行环境中障碍及特征检测和特征辨识的功能。依据环境空间的描述方式，Desouza等人将移动机器人视觉导航方式划分为如下三类：

1）基于地图的导航（Map-Based Navigation）：具有先验的占据栅格（Occupancy Grids）、几何图元（Geometric Primitives）或拓扑特征（Topological Features）表示的环境地图，机器人依据这些先验的环境地图进行导航运动。

2）基于地图建立的导航（Map-Building-Based Navigation）：缺乏先验的环境地图，通过机器人的导航运动，利用本身装配的传感器不断感知环境构建地图，并利用已经建立的环境地图指导机器人的导航。

3）没有地图的导航（Mapless Navigation）：相对于上述两种导航方法，没有任何环境地图的明确表达形式，对于导航，主要是通过传感器获得的观测信息识别运行环境中的物体或者跟踪这些物体来实现。

4.在人机交互中的应用

人类获取外界信息的70%是通过视觉系统获得的，因此计算机视觉技术是人机交互的核心技术之一。(www.chuimin.cn)

（1）人脸识别

人脸识别技术是指利用分析比较人脸视觉特征信息进行身份辨别的计算机技术。广义的人脸识别包括构建人脸识别系统的一系列相关技术，如人脸图像采集、人脸定位、人脸识别预处理、身份确认及身份查询等。人脸识别是一门热门的计算机技术研究领域，它属于生物特征识别技术。生物特征识别技术所研究的生物特征包括人脸、指纹、手掌纹、虹膜、视网膜、语音、形体、步态、个人习惯（如敲击键盘的力度和频率、签字）等。相应的识别技术有人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、语音识别、步态识别等。人脸识别的优势在于具有其自然性和不被被测个体察觉的特点。

（2）情感计算

情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐的人机环境，并使计算机具有更高的、全面的智能功能。

传统的人机交互主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境的变化。而如果缺乏这种情感理解和表达能力，就很难期望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然。由于人类之间的沟通与交流是自然而富有情感的，因此在人机交互的过程中，人们也很自然地期望计算机具有情感能力。情感计算（Affective Computing）就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。

通过计算机视觉技术获取人脸表情，通过脸部表情来体现情感是人们常用的自然的表现方式，其情感表现区域主要包括嘴、脸颊、眼睛、眉毛和前额等。在目前的人脸表情处理技术中，多侧重于三维图像的更加细致的描述和建模。通过采用复杂的图形变换算法，达到生动的情感表达效果。

（3）视线追踪

视线追踪技术是利用机械、电子、光学等各种检测手段获取受试者当前“视觉注意”方向的技术。视线追踪分为穿戴式和遥测式两种，广泛应用于人机交互、助残、虚拟现实、车辆辅助驾驶、人因分析等领域。其中，基于数字视频（Video Oculography，VOG）分析的非侵入式视线追踪技术是人机交互领域的热点研究方向。其研究范畴涉及图像处理与分析、计算机视觉、光学、心理学和解剖学等众多专业领域的知识。其技术手段需融合头部位姿的检测与跟踪、人脸特征提取、眼部特征识别等多种生物特征识别技术，是典型的多学科、多技术交叉的人机交互技术。VOG分析方法利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和不变特征之间提取视线/视点（Line of Sight/Point of Re-gard，LOS/POR）变化参数，然后通过几何模型或映射模型获取视线方向。因此，基于VOG分析的视线追踪技术分为视线特征参数提取和视线估计模型建立两个部分。VOG分析技术普遍采用基于瞳孔中心-角膜反射方法。外部红外光源在角膜上的反射点称为普尔钦斑。瞳孔中心-角膜反射技术是通过检测普尔钦斑中心到瞳孔中心的矢量，利用眼球成像模型或映射模型来估计视线方向的视线跟踪技术。其关键技术包括瞳孔及普尔钦斑分割及中心定位、瞳孔跟踪、平面视线参数到视线方向的非线性映射模型建立、人脸三维特征检测、人脸多特征跟踪和姿态估计等。

（4）手势动作（手语）

基于计算机视觉的手势交互表达的意义很丰富，具有很高的信息量。例如，人通过手的不同手势、位置和方向等可以组合出非常多的信息，并且更加符合人们的思维方式。并且手势交互可以与其他交互方式共同组成一组信息，从而得到确切的含义。

利用手部行为控制计算机的可视化人机交互方式主要有两种：一种是基于手势的位置信息，即通过手指指尖的移动或点击来实现相应的功能，达到代替鼠标或触摸屏等计算机外部设备的目的；另一种是基于手势的姿态信息，即利用人手所形成的各种各样的复杂手势，对计算机发出不同的控制命令。迄今为止，这两种人机交互技术表现在如下几个方面的应用：指点鼠标、手指书写或绘画系统、汉语手指字母识别、手势语言识别等。

（5）唇读

唇读/视话（Lip-Reading/Speech-Reading）技术是指通过观察说话者的口型变化，“读出”或“部分读出”其所说的内容。其目的是利用视觉信道信息补充听觉信道信息，提高计算机系统的理解力。唇读技术源于听力弱者或者听力障碍者学习、了解正常人的表达的一种技巧。它亦可用于特定场合的信息获取（如情报获取、噪声环境的语音信息理解等）。目前，唇读技术已经被广泛应用于语音识别、身份识别、人机智能接口及多媒体系统等领域。

实现一个完整的唇读系统需要完成从说话者视频信息采集、唇动检测、唇动定位与特征提取、唇读识别及唇读与语音信息的融合等多个复杂的工作环节。说话者视频信息采集是利用摄像机、摄像头等视频采集工具获取说话者的视频图像信息。唇动检测是从给定的图像或视频中找到人脸、嘴和所关心的唇部区域。唇动定位与特征提取是研究如何从序列图像中定位唇、提取适合唇读的有效特征对唇部进行描述。唇读识别是采用适当方法对提取的特征量进行唇部动作的识别。唇读与语音信息的融合是采用一定的信息融合手段将语音和唇读两个信道进行融合。

（6）步态识别

步态识别是通过分析人行走时的方式对人的身份进行鉴别的，具有非侵犯性和可接收性高的特点，最易于秘密地远距离捕获信息，因此受到了研究者的广泛关注。步态是一种复杂的行为特征，步态识别的输入是一段行走的视频图像序列，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。此外，人体步态受地面状态、行走速度、精神状态、穿着等的影响比较大，因此也使得步态识别成为一个非常具有挑战性的课题。

5.在虚拟现实中的应用

计算机视觉技术在虚拟现实技术中的一个典型应用是增强式虚拟现实系统。增强式虚拟现实系统中既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象。它是把真实环境和虚拟环境组合在一起的一种系统，既可以减少构成复杂真实环境的计算（因为部分环境由真实环境代替），又可以对实际物体进行操作（因为部分物体是真实环境），真正达到了亦真亦幻、虚实融合的境界。在增强式虚拟现实系统中，虚拟对象所提供的信息往往是用户无法凭借其自身感觉器官直接感知的深层信息，用户可以利用虚拟对象所提供的信息来加强现实世界中的认知。在增强式虚拟现实系统中，真实环境的获取、真实环境与虚拟环境的配准、视频的合成与显示等都离不开计算机视觉技术。

增强式虚拟现实系统被广泛应用于多个领域，如尖端武器、飞行器的研制与开发，数据模型的可视化，虚拟训练，娱乐与艺术等。同时，由于其具有能够对真实环境进行增强显示输出的特性，在医疗研究与解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等方面的应用也越来越多。以下简述几个主要应用领域。

1）军事领域 部队可以利用增强式虚拟现实技术，进行方位的识别，获得目前所在地点的地理数据等重要军事数据。例如，战斗机驾驶员使用的头盔可让驾驶员同时看到外面世界及头盔上面的合成图形。额外的图形可在驾驶员对机外地形视图上叠加地形数据等重要军事数据。

2）飞行模拟训练 在飞行模拟器和飞行员的模拟培训中，飞行员戴上头盔后可以看见自己的腿、手、机舱，但是外面的机场、跑道、天空都是叠加上去的，可以保证飞行员在很真实的环境中进行飞行训练。

3）在古迹复原和数字化文化遗产保护方面 文化古迹的信息以增强式虚拟现实的方式提供给参观者，用户不仅可以通过头盔显示器看到古迹的文字解说，还能看到遗址上残缺部分的虚拟重构。

4）工业维修领域 通过头盔显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。例如，20世纪90年代初期，美国波音公司的Tom Canden和他的同事设计了一个辅助布线系统。该系统应用S-HMD把简单线条绘制的布线路径和文字提示信息实时地叠加在机械师的视野中，而这些信息可以帮助机械师一步一步地完成一个拆卸过程，减少日常工作中出错的机会。

5）市政建设规划 采用增强式虚拟现实技术将规划效果叠加到真实场景中直接获得规划效果。

6）电视转播领域 通过增强式虚拟现实技术可以在转播体育比赛的时候实时地将辅助信息叠加到画面中，使观众可以得到更多信息。

7）网络视频通信领域 该领域的系统使用增强式虚拟现实和人脸跟踪技术。通话的同时，在通话者的面部实时叠加一些如帽子、眼镜等虚拟物体，在很大程度上提高了视频对话的趣味性。

6.在卫星遥感中的应用

卫星遥感图像信息量大，数据存在多种干扰和误差，处理和分析的工作量、难度都很大。计算机视觉技术可用于分析各种遥感图像，进行环境检测、地理测量，根据地形、地貌的图像和图形特征对地面目标进行自动识别、理解和分类。

7.在公安与安防系统中的应用

在视频监控系统中，计算机视觉技术在用于增强图像质量、捕捉突发事件、监控复杂场景、鉴别身份和跟踪可疑目标等方面，能大幅度提高监控效率，减小危险事件发生的概率。

计算机人像组合技术可以根据目击者的描述，由计算机用不同的人面部图像部件组合出嫌疑人的人面部图像协助破案。在公安刑侦中，它还应用了模糊图像复原技术对犯罪现场的模糊图像进行复原处理。

此外，计算机视觉已经用于各种运动分析、人体测量、食品、心理学、电视电影、美术模型、远程教育、多媒体教学等场合。