虚拟现实与交互技术融合：人机交互变革时代

2023-10-18 理论教育版权反馈

【摘要】：视觉表现实际上是一系列视觉符号的传达。同时,基于Avatar的具有语音和视线交互功能的智能家居终端也属于典型的视觉表现艺术和交互技术交融的产品之一。图4-4-3注视程序界面人工心理模型驱动的人脸表情动画合成也是视觉表现与智能交互技术交融的典型研究成果之一。

产品可视化分产品视觉表现和交互技术两个主要方面,这两方面有时是独立的,有时是交融的,其基础部分也是大致相同的,都经过建模、材质、灯光、动画、渲染制作过程,但细节又会根据需求有所不同,特别是后期处理软件和播放模式都不尽相同。

视觉表现实际上是一系列视觉符号的传达。综合产品的造型、色彩、材质等视觉要素。传达产品的功能和结构特征。产品可视化的视觉表现更完整,其表现形式主要包括:图像、声音、文字及产品本身,视觉表现上结合了当下电影中盛行的CG影视特效技术。在产品形态、结构、功能表现的同时结合环境空间气氛,逼真展示出产品色彩和材质肌理。视觉表现很重要的一点是镜头语言,由于目的不同,因此在产品表现时虚拟摄像机的推、拉、摇、移和电影的镜头表现有相同和不同之处,它更强调叙事需求,这种需求也决定产品视觉表现不是简单追求镜头的炫、闪和没有内容的华丽场景,它更注重逻辑、条理和清晰性。在制作流程中借鉴动画设计的一些流程,前期准备工作有文字脚本、分镜头设计方案,中期工作主要是动画的制作,后期工作是特效及合成。产品可视化的视觉表现是吸收多种艺术表现形式的综合体。

交互技术从产品使用的角度可以理解为用户与产品及环境之间的互动与信息交换的过程。交互技术的应用领域非常广泛,就产品设计而言,它连接人与产品之间的感受距离,当下交互有两种形式,一种是通过鼠标或手触摸屏幕,在计算机虚拟空间里行走、观看。另一种借助外部设备和装备来完成,数据手套技术就是在虚拟现实中主要的交互设备。它可以控制机器手臂,可以与产品进行抓取、移动、操作、控制,以及对产品进行结构拆装组合。通过交互对产品的功能可视化、结构可视化、操作可视化、控件可视化等内容与产品进行信息交流。

在人机交互领域也不乏视觉表现艺术和交互技术交融的典型案例。2009年6月1日举行的微软E3展前记者会,最后展示的是由微软旗下英国Lion head公司游戏天才制作人Peter Molyneux展示的全新概念电脑AI交互作品(图4-4-1),Molyneux通过微软体感声控摄影机“Project Natal” 与一个电脑虚拟小男孩进行即时交互的展示,这个虚拟小男孩不但会跟用户对话,逐渐学习成长,用户也能直接用语音下达命令,甚至如果用户在纸上写字然后用摄影机来拍摄,这个虚拟小男孩还会读纸上的字。Peter Molyneux表示,此技术未来可有更广泛的应用,提供更多想象空间,而不仅限于游戏领域,也可以应用在诸如智能家居等其他服务场合。

pagenumber_ebook=133,pagenumber_book=126

图4-4-1　微软体感摄影机与AI虚拟人交互

由好莱坞特技专家克雷格·巴尔发明的虚拟管家——魔镜(virtual butler),如图4-4-2所示,被《时代》杂志评为2006年最佳玩具类发明,目前已经上市,售价19995美元左右。按照设计,魔镜可与家庭安全系统和家庭自动化操作网络相连(目前未见相关应用报道),大部分情况下魔镜与普通穿衣镜没什么不同,但在启动之后一张神奇的面孔就会出现,用英国管家般傲慢的声音为你提供即时信息,如有辆汽车驶出你的车库、浴缸已经放好热水……但是很多人质疑该款产品形象在家居场合的应用问题,因为它较丑陋,特别是对儿童可能不太适宜。(www.chuimin.cn)

pagenumber_ebook=134,pagenumber_book=127

图4-4-2　虚拟管家——魔镜

数字化时代智能系统的重要特性之一就是要具有良好的交互性(interactivity)。对于旨在提高人类家庭生活质量的智能家居服务系统,良好的交互显得更加重要。应用于智能家居的基于Avatar的HCI(human computer interaction)系统的开发是提高智能家居人机交互体验的有效方法之一。同时,基于Avatar的具有语音和视线交互功能的智能家居终端也属于典型的视觉表现艺术和交互技术交融的产品之一。该项目提出并实现了语音和视线双通道交互,实现了无须手动参与的交互方式,利用中文简化版情感量表,对系统进行实验测试,得到了基于PAD情感空间的情感体验描述,实验结果表明具有视线和语音交互功能的Avatar智能家居服务系统可以提升用户在交互中的正向情绪,从而提升智能家居领域以用户为中心的自然人机交互体验。该系统Avatar由5个模块实现:形象模块、视线追踪模块、Socket模块、语音识别与合成模块和任务推理规则模块。其中视线追踪模块提取用户眼睛注视区域;Socket模块用于Avatar形象模块与视线追踪模块间的相互通信;语音识别与合成模块完成语音交互。由于互相独立地利用多个通道并不是真正意义上的多通道界面,不能有效地提高人机交互的效率,因此该项目利用任务推理规则模块协调从语音、视线两个并行、协作和互补通道的非精确输入获得的任务信息。项目中对话过程的注视程序界面,如图4-4-3所示。

pagenumber_ebook=135,pagenumber_book=128

图4-4-3　注视程序界面

人工心理模型驱动的人脸表情动画合成也是视觉表现与智能交互技术交融的典型研究成果之一。通过该项目研究,提出了一种HMM情感模型驱动的人脸表情动画合成方法,该方法以人工心理模型输出概率值作为权重向量,通过因素加权综合法,控制表情动画模型参数。该方法采用的人脸表情动画算法工作量较小、速度快、空间开销小、仿真效果真实自然,特别是与人工心理模型相结合,不但实现了计算机对人类心理活动的模拟,而且情感输出通过人脸表情动画合成技术表达,实现了心理状态对表情的实时驱动,合成的人脸表情动画真实、自然,进一步提高了人机交互的人性化程度。该项目的研发,为虚拟人生成应用、情感计算、情感机器人和友好人机界面等领域提供了一个良好的人机交互基础平台。

虚拟现实与交互技术融合：人机交互变革时代

相关推荐