虚拟现实APP设计的复杂性与挑战性及解决方案

(一)复杂性

模拟出反馈灵敏并且真实度高的3D世界,让用户实现真正的3D交互并非一件易事。越来越多的APP设计者期望虚拟环境可以尽可能地接近真实环境。某些工业虚拟现实应用需要高逼真的环境、演变、对用户的交互反应以及最终的自主性。

1.物理模型和碰撞检测

为了以最可信的方式模拟真实环境,必须详细描述构成这些环境的实体(例如物体、人)以及实体的行为。为此,我们将使用不同的物理模型(例如光、位移、冲击)来呈现不同程度的复杂性,其中包括物理现象的模型,使确定与此现象有关的方程式成为可能。这一步骤也提供了一组必须以近似的方式解决的非线性微分方程,因为通常没有可解析的方法来解决它们。实时模拟运动方程,以整合用户对系统的作用和现象本身的演化规律。“实时”模拟器是一个棘手的问题,因为它引入了对性能和模型简化的限制,以及精度与响应时间精度的对比。实际上,所采用的迭代解决方法(隐式或显式积分模式)基于时间步长的概念,时间步长可能是固定的或可变的,具体取决于应用的方法。因此,时间步长经常受到数值稳定性的限制。它在实践中通常没有APP设计者希望的那么大。“实时”被定义为要求模拟的计算时间必须低于时间步长的值。如果由于数值稳定性的原因,时间步长很小(例如1/l000s),那么就计算时间而言,机械系统将需要处理至少每秒1000次的计算。

在可以模拟的物理现象中,我们发现以下内容:

(1)固体力学:当前的模拟技术允许与物体的实时交互,无论这些物体是自由刚体,还是多关节固体,甚至可变形固体,只要这些物体是“合理”的。

(2)流体和颗粒:流体管理带来了更高的复杂度。然而当流体分解成颗粒时,仍然可以实时处理。

(3)拓扑变化:拓扑的实时变化,例如变形的对象,可以考虑关联几个特别有效的模型。基于对象的内部振动方面的模态分析和用于在设备内传播裂缝的算法发挥了重要作用。如图2-1-15所示,模拟器对由虚拟锤子的碰撞引起的相互作用做出反应。

图2-1-15　材料中的交互断裂

改变材料状态:单一的粒子模型,例如SPH(平滑粒子流体动力学),使得在与场景中物体的双手触觉交互过程中可以确保材料从流体状态到固体状态实时移动的连续性,如图2-1-16所示。

图2-1-16　材料中的交互断裂

另一个相当大的问题是,在场景物体移动时检测它们之间的碰撞。事实上,在现实世界中,这些碰撞是由物体的性质“自然”控制的。一般来说,当两个刚体相碰时,它们的运动状态发生改变(改变运动的速度和方向)或者变为保持静止状态。例如,在橄榄球比赛中,前锋踢出的球从杆上反弹。这个问题是一个纯几何问题,其目的是避免虚拟场景中物体之间的相互渗透。在模拟的每个时间步骤中,碰撞检测器必须能够传送所有互穿对象,以便向物理模拟器提供允许其阻止此互穿的数据。检测碰撞的主要问题是物体的自由组合。实际上,由于任何对象都可能会与所有其他对象发生碰撞,最初略显幼稚的方法提出,测试每个对象相对于所有其他对象的相互渗透,这导致了O(n2)的自然复杂性。这种复杂性非常糟糕,所有使用优化算法的目的都是为了降低这种复杂性。

尽管物体可以用一种简单的方式表达,但根据物体和所提出问题的性质,这个问题仍然有许多变体,从而有不同类型的解决方案:

(1)离散检测与连续检测:在所有离散方法中,该算法应用在固定时间内,不关注时间间隙发生了什么。这些方法非常快速,可能会忽略某些演绎。相反,连续的方法关注精确的碰撞时刻,这可能会影响模拟时间步长,这种策略特别适用于避免物体之间的所有穿透以及需要高精度时。当然,这样做的代价是计算时间更长。

(2)凸对象与非凸对象处理:凸对象是这样的,对属于对象的任何一对点,连接这对点的线段完全包含在对象中。这种特性使实现简单、快速的算法成为可能,以确保碰撞检测。对于非凸对象,有两种策略是可能的:要么将对象分割成一组凸对象,这样我们得到一个简单的情形,要么我们使算法更复杂,以便考虑到非凸性。

(3)两体问题与n体问题:在两体问题中,一个对象是移动的,另一个对象是固定的,这大大简化了n体问题,其中所有对象都是如此移动的。

1993年,Hubbard提出分解算法,以管道的形式检测碰撞。这种分解在科学文献中被广泛使用,如图2-1-17所示。宽相位就像一个过滤器,可以快速消除不能进入碰撞的对象对,它通常基于快速计算包含体积(包含对象)之间的交点。窄相位通过定位可能发生碰撞的物体来执行更精确的计算。而精确相位则对穿透进行非常精确的几何计算。在最新的方法中,后两个步骤被组合成一个单独的步骤,称为窄相位。

图2-1-17　检测碰撞的步骤

正如上文提到的与碰撞检测有关的科学文献证明的那样,这个问题并不新鲜,关于这个问题的文献很浩繁。然而,GPU(图形处理单元)的出现给这个问题提供了一个新的观点。虽然这些处理器最初只用于图形处理,但随着时间的推移,它们变得可编程(GPGPU:图形处理单元上的通用处理),并可用于各种计算,提供高水平的内在并行性(将计算分解为独立的子计算的可能性)。我们发现碰撞检测本质上是高度平行的。实际上,每个基本计算(例如计算两个几何基元之间的交点)都独立于其他计算。因此,我们将研究使用GPU对处理过程中两个主要步骤的影响。宽相位的GPU解决方案:Avril等人建议考虑在GPU上计算三角形矩阵路径对对象进行分配,随后Navarro等人对此进行了概括。Le Grand使用常规网格和散列函数基于空间细分对对象进行了修改。每个对象存储包含该对象的单元格的哈希键。因此,存储相同键的对象可能在交集中。基于分类法,对扫描修剪算法的GPU实现是在单个分隔轴上采用的一种适应于GPU的分类算法。

窄相位的GPU解决方案:Lauterbach等人提出一种在GPU上基于周围卷(有界卷层次结构或BVH)的层次结构的方法。该方法以高度并行的方式在层次结构(实际上是树)上实现几何基元的分配,然后以并行方式计算绑定层次结构的新卷。通过比较两种层次结构进行碰撞试验。为了在计算开始时最大限度地提高并行性,该算法利用时间相干性,将计算结果重复用于检测前一时间步长中使用的碰撞。在这种方法中,跨GPU单元的任务分配是基于缓冲区的,通过flux的形式在层次路径中写入新任务,该分配得到了改进。最后,使用哈希技术用于宽相位的空间细分,使得在窄相位获得高性能成为可能。最近,Le Hericey等人提出了碰撞检测管线的新版本和修订版本,其中使用光线跟踪算法可以优化计算(迭代光线跟踪与否)。此外,还对相对位移测量进行了专门的工作,以优化使用时间相干性。这个算法原理适用于刚性和可变形的物体。

如图2-1-18所示,给出了建立碰撞试验的两个案例研究:(1)一组物体同时落在一个物体上,碰撞的数量急剧增加;(2)逐渐增加物体以形成一个堆,碰撞的数量有规律地增加。在这两种情况下,GPU计算可以获得高于60Hz的性能。

图2-1-18　512个物体同时落在一个平面上

如图2-1-19所示,显示了GPU计算结果,它与变形系统进行了双手动交互(折叠一段布料),其中存在许多自碰撞。

图2-1-19　与不规则表面上的布料的相互作用

2.填充3D环境

从单个虚拟对象扩展到场景中复杂多样的虚拟对象

(1)介绍

一个3D环境中可能会有不同形状和不同需求的虚拟对象。因此,在一个城市的街道上可能存在着完全不同的对象。例如,在城市布局研究的背景下进行模拟时,特别是在多式联运的交通运输中,和在需要填充场景背景的电影中(图2-1-20、图2-1-21)。对于一家工厂来说也是如此,无论是研究未来大型喷气式飞机装配链的运作方式,还是Monsters公司的平面图。同样,约束也不同,这取决于你是在为VR-AR填充一个交互式虚拟世界,还是在为一个高预算电影填充背景:在第一种情况下,现实生活中的要求将对角色的质量及其渲染产生显著影响,而在第二种情况下,其标准是为视觉特效分配的预算。

Brian Thomas Ries在他的工作中强调填充建筑类对象的空间将减少虚拟现实中低估距离的情况。Chu等人研究如何考虑社会行为对模拟器的认识。Haworth等人研究如何考虑建筑空间中的人群运动,以优化支撑柱的位置。

图2-1-20　Digital District在Roland-Garros的重建工程实例

图2-1-21　Union VFX在电影《跑调天后》中拍摄的街景

尽管目标不同,但某些功能是普遍的。因此有必要通过身体特征(如形态、年龄、舒适度、穿着、使用的饰品)来描述人群。一旦创建了身体封套,就必须允许他们在环境中执行一定数量的任务,这些任务的性质和内容将因模拟行为的类型而异:Paris和Donikian展示了不同行为水平(生物力学、反应、认知、理性和社会)的行为金字塔和相关任务(图2-1-22):根据填充函数的目标,这个金字塔全部或部分可以发挥作用。

(2)如何填充3D环境

许多研究都致力于导航任务:管理一个对象朝一个确定的点移动,同时避免静态和动态障碍。我们可以识别几种模型:基于粒子的、细胞机器、预测几何、代理等。

其中一些模型会面对来自现场、实验控制或视频采集的数据。需要注意的是,Wolinski通过尝试优化每个算法对于数据集的参数,比较从文献到实际数据的几种算法的行为。

他的研究并没有指出哪一个算法比其他研究案例更有效。Kok等人提出了一个概述,其中包括对基于物理学(基于粒子的模型)和生物学(基于规则和启发式的行为)的绘制行为的参考库基础分析以及使用视频观察和基于视觉的算法进行的行为分析。奥利维尔等人提供了在实验方案中使用VR的总结,以便更好地理解人群中的人类交互。卡索尔等人用四层夜总会疏散的地面数据使用他们基于规则的模型。奥利维尔等人已经表明在避免路径交叉时两个人之间的行为不对称,并且在交互过程中突出了不同的角色。Rio等人研究了行人的驾驶特征,并考虑了其他人的行为:Gandrud等人在VR中进行了实验,这种实验倾向于显示凝视方向和头部方向以及行人选择方向之间的联系,这些信息可以通过所选路径自动管理头部来帮助增加角色动画的真实感。

Karamouzas等人提出了一项法则,管理对象之间的相互作用。该法则是基于来自实验环境(瓶颈,在行人专用区中穿越)的真实轨迹数据分析而构建的。鉴于所研究的案例数量很少,这绝不是一项普遍规律。然而,作者和其他人假定这样的法则必须建立在所估计的碰撞时间及速度上,而不仅仅取决于与障碍物的距离,与基于位置的模型相比,基于速度的模型的优势在于,它们能够整合预期的概念以避免碰撞,因此能够以更加现实的方式管理具有较低或非均匀人口密度的情况。

最初的研究重点是在避免制订碰撞策略时考虑社会群体。他们研究了其他类型的群体行为,包括形成运动和一个群体中的情绪感染。为了验证模型,Bosse等人试图重现(使用视频)2010年在阿姆斯特丹发生的大规模恐慌事件。他们对其进行了长时间的分析,重点关注人群中的某些人以提取随时间的路径和行为,这样他们就可以进行模仿。随后,他们使用校准方法,根据真实轨迹和建模轨迹之间的距离确定每个代理参数的最佳值。这些模型的缺陷是:根据个体是感染源还是易受感染者将其分到不同的组别。这与社会心理学中的情绪感染的定义不相容。实际上,在情绪下每个人都是持续感染和被感染的。此外,建模和校准模型的复杂性使它们在成千上万的人群中无法运转。

模拟人们在环境中四处走动必须执行的另一项任务是规划路线。需要以导航网格形式的环境拓扑表示:以路线图互连的一组凸多边形形式的空间表示可以将权重与单元关联以指示最常去的移动区域(例如,行人路径)。此外,路径的计算是使用算法区域其众多衍生物之一进行,这些衍生物可以进行分层规划或管理动态环境。

如果人群的目标仅仅是在用户虚拟导航时使模型动态化,那么在循环中随机填充轨迹是可以接受的。K.Jordao建议通过编辑和组装人群补丁以填充城市环境,其中人物遵循预先计算的轨迹,从而降低导航时的计算成本。

另一方面,如果目标是研究城市空间尺度上的现实行为的建模,那么我们需要编写填充空间的角色活动,或拟人化模型和本地化活动完整的脚本。

为了模拟比避免障碍的简单随机运动更复杂的行为,必须通过环境来为虚拟人提供与环境交互的能力。例如使用ATM或阅读路标。我们还须模拟人群中每个人的全部或部分形象(例如目标、知识、能力、情感模型)。

因此,Paris等人模拟了车站中旅行者的活动。根据个体目标的实现(在Y点钟赶上X号列车)和特征(已经购买或未购买的车票),在车站的某个人口处对人群中的每个实体进行创建。根据他们对空间的了解程度(当他们四处移动时更新的状态)更新可实现动作的列表,以允许他们前进完成最终任务。开始旅行者必须收集一张票,然后检票,在他们的火车将离开的站台上获取信息,并且对于每个活动旅行者都要在所有设施中确定最适合完成该任务的可用地点(图2-1-23)。

图2-1-23　与环境交互对虚拟人物目标和内部状态的影响

C.J.Jorgensen研究模拟一个城市居民的长期活动,这需要在已知环境、要执行的任务、与实现活动相关的时间限制之间建立联系。Trescak等人建议将人群中的行为建模减少到几个典型的角色,并通过基因交叉传递获得整个人群的行为。他们将此应用于模拟古城的行为。

Durupinar等人在Unity 3D软件环境之上构建了一个软件架构。通过使用仪器OCEAN(开放性、尽责性、外向性、愉快性、神经性)模拟成员的某些心理特征并集成在一起,使用OCC模式进行情绪管理,并使用PAD模型选择动作,外部事件将被人群中的某些成员感知,并通过情绪感染机制传播。

(3)结论

尽管大家总是围绕在某些研究项目上,没有用来控制人群行为和动作的通用模型。有条不紊地确定每个模型的有效性是有用的,这能避免之后的用户进行错误的尝试。困难之一在于正确校准模型,或者相对于地面数据校准模型,或者获得期望的效果。

另一个挑战是将基于动力学、动力学的运动模型与决策层发出的命令正确耦合,而不会产生伪影。例如,脚在地板上滑动,这构成了与计划轨迹的偏差,或者在给定时刻不遵守期望的速度,甚至加强加速的不合理性。

关于共存真人与虚拟人之间的相互作用,VR还有许多工作要做。另一个重点领域是考虑除视觉之外的其他感官方式,特别是整合局部和空间化声音。与IEEE VR会议联合举办的“虚拟人群和沉浸式环境人群”研讨会很好地说明了正在探索的研究课题的多样性和多学科性质。

关于真实人类在与虚拟世界中的虚拟人互动时的所有运动和行为是否具有合理性也总是需要改进。在大型购物中心或体育场的规模上处理现实人群的问题需要成功地扩展当前算法。对于城市中的邻域更有必要将这些算法与专用于交通仿真的算法相结合。所有在评估和验证模型方面所做的工作都必须延长和放大。北卡罗来纳大学参与了一项有趣的计划:他们提出了一种开源模块化方法,称之为Menge,其目的是提供一个独特的实验来测试和比较软件架构中的单一组件,致力于模拟人群。

3.实现3D自然交互的困难

(1)介绍

人类在真实的3D环境中移动时,使用他们身体的部位是完成日常任务所必需的:普通任务(例如前往办公室、整理或烹饪)以及在性能方面要求更高的任务(例如运动、舞蹈或音乐)。尽管如此,交互任务本质上是困难的,性能和技能获取需要数月甚至数年的练习。实践和知识将复杂的交互转化为自然行为,使其变得直观。目前,由于手和身体跟踪的低成本解决方案的普遍可用性,基于手势的界面越来越受欢迎。这些接口有时称为NUI(自然用户界面),旨在使用我们的隐式知识和先验的真实3D交互来生成直观的用户界面。这些用户界面可以在很少或没有训练的情况下使用,并且对用户是透明的。然而,设计适合虚拟环境的自然3D交互技术仍然是一个难题。与真实交互相比,除了触觉交互之外,用户在自由空间中进行交互,没有物理约束,也没有多感官反馈。实际上,触觉和触觉反馈很少可用,并且由于显示技术的限制,3D空间感知可能会变形。例如,眼睛聚焦一调节冲突可能导致距离被低估或高估。这些限制可能会增加用户的物理需求并对灵活性有更高需求。例如在可以稍微改变距离感的交互中,用户需要连续地校正它们的移动以便补偿空间感知误差。用户捉有的任何先验知识都无法再应用。这阻碍了整个交互过程。在设计3D用户界面时,必须考虑感知一动作周期以及用户的先验知识。此外,该界面还需要额外的学习才能达到预期的效率。

在设计新的交互技术期间,必须完整地考虑感知—动作周期。这个周期(图2-1-24)可以分为几个阶段:①用户从虚拟环境接收多感官反馈(感知);②用户决定并计划希望执行的活动(认知);③用户执行计划的活动(动作);④系统解释并执行用户的活动(命令);⑤执行这些命令会产生额外的反馈。这就完成了循环。

图2-1-24　感知-动作周期

(2)交互下的感知—动作周期

在设计新的交互技术时,必须考虑交互周期中的所有步骤,确保交互技术匹配良好。交互技术的设计者必须首先确保动作—命令耦合与强大而明确的法则管理之间存在一致性,其次,有反馈(反馈和感知)将确保用户具有良好的虚拟环境的心理表示。

来自虚拟环境的反馈(例如视觉、听觉或触觉反馈)必须确保用户知道虚拟环境的当前状态和他们自己的动作(感知—动作反馈),并且为表示尊重他们自己的感知信道,提供的反馈必须是准确和完整的。用户执行的动作由虚拟环境的感知构造引导,如果这种结构错误或不准确,将导致错误或不准确的行为。因此,感知信息的优点是它是原始的。实际上,对虚拟世界中的空间布局(大小、距离)和相互关系的精确感知是任何空间任务(例如,估计距离、处理对象)的关键。虽然当前的实时反馈系统能够提供空间视觉提示(例如透视投影、遮挡、光照、阴影效果、场效应深度),但是在沉浸式系统中,尺寸的距离和感知经常是偏斜的。

沉浸式显示器的性质对交互过程额外有影响。在非阻碍性显示系统(例如,基于投影的系统)中,用户受到物理显示的约束,并且对呈现正视差的任何对象没有激活直接交互。此外,用户自己的身体可能会遮挡更近的虚拟对象(图2-1-25,左)。通过尝试获得具有负视差的虚拟对象,用户的手可能遮挡该对象的投影,从而增加错误选择的风险,尤其是对于小物体。在这种情况下很少提供触觉反馈。当谈到突出显示时,我们必须提供用户身体的虚拟表示,如果没有正确跟踪用户的身体,本体感受信息将与虚拟化身冲突,这可能会阻碍交互过程(图2-1-25,右)。此外,突兀的屏幕更可能引发模拟器疾病(也称为“晕动症”)。

图2-1-25　潜在感知不匹配的例子

如图2-1-25所示,左图在基于投影的系统中由于可以遮挡屏幕中虚拟对象的投影,所以呈现负视差的对象可能被真实对象(用户的手)错误地遮挡。右图,在突出显示中如果用户的身体没有被正确跟踪,本体感受和视觉通道可能不同,这将需要电机重新校准

(3)交互和动作—命令耦合

为了提高3D交互的效率并能提供适当的反馈,3D接口必须提供良好的动作—命令耦合。在设计交互技术时,必须考虑人的控制能力。由于自由空间中的交互是复杂的、不精确的,可能导致极大的疲劳,最小化同时控制的自由度成为一种基本的设计原则。自由度越大,用户就越难以有效地控制它们。不过另一方面,增加自由度对于有经验的用户来说是有益的。在这种情况下,用户通过学习可以极大地改善初始操控能力。交互技术和外部输入设备之间符合人机相合性原则也可以提高操作的效率。例如,如果外部输入设备不受限制,那么使用具有六个自由度的外部输入设备来执行需要较少自由度的任务可能成为混淆的原因。这可以通过以下事实来解释:输入装置未使用的自由度的变化对于用户是不可见的,这导致不平衡或动作感知不连贯。最后,可以使用附加传递函数来调整命令和显示器上的运动之间的增益(CD比率)。精心设计的传递函数可以超越人类控制的限制,提高精度并减少用户疲劳。然而,不同的交互场景可能需要不同的传递函数,这需要临时进行调整。

(4)总结

无论如何,我们不能忘记用户特征:人的需求和限制。实际上,对于一个用户来说自然的3D交互技术对另一个用户来说可能不自然。首先,用户具有个人偏好、不同的专业水平、以不同的方式执行操作:因此,他们需要适应其技能或特定训练场景的选择或操纵技术,除了动作—命令和反馈—感知耦合之外,用户操作还必须生成额外的反馈,以允许了解操作对系统的影响。如果反馈是明确的,那么它就可以在交互层面上进行评估,交互设计者会考虑这些需求和限制,以便为用于特定目的用户提供最适合的3D界面,但对于通用3D交互体验的追求仍然是无法实现的。

4.合成触觉反馈的困难

(1)问题

触觉反馈(来自希腊语haptomai,“我触摸”,一个涵盖所有动觉现象的术语,即力量感知、身体在其环境中的感知以及触觉现象)在VR环境的用户沉浸中起着至关重要的作用。实际上,如果作为运动捕捉系统的命令设备可以直观地控制身体的运动,用户将被投射在不可触知的虚拟世界中并将无法精细地控制施加在被操纵物体上的能力。然而逼真的触摸模拟难以实现,这出于各种原因:

①各种可能的手势交互。我们可以列出6种用于识别周围对象(形状、体积、重量、硬度、纹理和温度)的探索方法和超过30种用于抓握和操纵它们的握把,更不用说这些类型中没有包括的某些手势发生在除手之外的身体区域。

②感知触觉信息的多样性和丰富性。当我们触摸物体时,皮肤与其接触,然后随着施加的力增加,手指的接触面积增加。手指也局部变形,这取决于对象的形状和纹理,或者如果受到切向力,它可以横向移位,还可能受到整体或局部振动的影响。

③人体感觉器官的复杂性。它由大量不同的生理受体(Meissner小体、Merkel细胞、Pacini小体、皮肤水平的Ruffini神经末梢和动觉受体)组成,其空间扩展、频率和反应类型的灵敏度范围根据受体的类型而不同,反应也由中枢神经系统以复杂的方式处理(考虑到每个受体的神经活化峰的时间、数量和频率以及同一区域不同受体反应之间相关性的信息)。

④人的高灵敏度。通过在表面上运行指针可以检测几十毫牛顿的力,可以区分幅度介于几十纳米和几微米之间的纹理,一直到几百赫兹的频率。

⑤力量范围的重新设定。在某些姿势和方向上可达到几十千克,可以非常快速地应用这些力来模拟刚性物体(用户感觉到的刚度必须至少达到24200N/m,即使闭眼也能保持刚性才能给出令人信服的印象)。

(2)软件方面

在实践中,触觉反馈的合成首先需要模拟用户与环境之间发生交互时出现的现象。在现实世界中,这些交互受物理定律的约束,因此在虚拟世界中对这些定律进行模拟是有用的。然而真实地模拟和计算所涉及的现象是很难的,例如,表面黏附、变形、破裂和物体形态的其他变化。时间约束进一步加剧了这种困难。实际上,为了保证正确的触觉反馈,模拟必须以高频率(通常接近千赫兹)提供信息,否则将出现不稳定或者虚拟世界将显得柔软黏稠,没有质感。

在实时物理模拟领域,过去十年是视频游戏物理引擎的快速发展期:这种演变是私人经商者(尤其是NVIDIA和AMD显卡制造商)与视频游戏编辑合作并大量投资的结果。它还与电子卡的出现有关,这些电子卡匹配了GPU技术需要大规模处理的需求,这也产生了术语PPU(物理处理单元)。

今天,我们发现了两个主要产品,一个是来自NVIDIA的PhysX,它是一个免费的专有许可,另一个是Bullet,最初是通过AMD后来在开源许可下发布。我们需注意,对于PhysX和Bullet,刚体的模拟不受GPU上加速计算的影响,GPU上的加速计算仅限于可变形物体的模拟,并且计算凹对象之间的碰撞是有问题的。基于独特方法,最近由NVIDIA推出的FleX可能会改变现状。但是确定这一点还为时尚早。总而言之,这些物理引擎为改善交互性,在很大程度上牺牲了结果的精确性。这符合视频游戏和虚拟现实共有的要求,但是,它对大多数专业应用来说都不适用。

三个物理引擎超越视频游戏体现了过去几年取得进步的基本要素:Chai3D、SOFA和XDE。Chai3D最初是斯坦福大学的一个项目,后来成为一个独立的开源引擎。一个非常活跃的社会团体对它的研究做出了巨大科学贡献,今天它可以被认为是领域中最先进的实体。最后,Chai3D支持市场上大多数触觉外部设备,并且易于使用。不幸的是这个引擎仍然无法处理凹对象。

SOFA自称开源“框架”,由CEMIT(波士顿)和Inria(法国)于2004年初始化,其目标是为医疗应用提供实时仿真工具。开发人员非常重视结果是否有代表性。而且将许多模拟技术结合在一个库存充足的工具箱中:弹簧质量系统、有限元素等。支持一些触觉外部设备,但不支持第三方库且只有非常简单的模型。实际上,今天的 SOFA只适用于数字模拟专家,在该领域尚未成熟。

最后,CEA Tech正在开发物理引擎XDE用于工业应用,其特点是具有复杂几何形状的对象并对结果的精度有严格要求。真正让XDE脱颖而出的特点是精确接触模型的集成,并且自身考虑了复杂的运动学,例如在工作中模拟人类操作员的情况。

此外,在这个阶段有必要记住,实时物理模拟的问题有两个主要组成部分:一个是物体之间接触点的识别,通常被称为“碰撞检测”;另一个是固体力学和连续介质力学方程的整合,简称为“求解器”。在碰撞探测领域,Gabriel ZaChmann领导的团队与Rene weller的(内球树)研究及其他研究有了重大的发展。weller提出了球形填料方法,包括使用不同尺寸的非重叠球体排列填充物体。由于两个球体之间交叉点的检测与将它们中心之间的距离与它们的半径之和进行比较是相同的,因此检测物体之间的碰撞变得非常快速。关键问题是用球体填充物体。此外,weller提供了一种有效的方法来实现这一点,那就是使用GPU进行加速。

最重要的一个方面是快速开发专用于控制机器人系统的自由软件平台,包括ROS和OROCOS。这些软件解决了触觉反馈的问题,因为它们可以促进不同外部设备之间的互操作性。毕竟,触觉界面是需要控制软件的机器人。不是为市场上的特定产品开发的特定模块。在不久的将来,物理引擎将只提供与ROS的接口,外部设备制造商将不得不适应这一点。

(3)材料方面

触觉界面必须尽可能准确地重建模拟中的指令。在过去的几年中,已经开发了许多接口来实现这一点。无论过渡是在自由空间与接触触觉界面、间歇性接触的外骨骼手套、接触面积随施加压力的变化、整体形式的物体、振动之间,还是与被触摸的物体纹理之间。上述每种现象都需要尽力模拟。然而,这些接口是高度专业化的,不能同时模拟所有现象。此外,它们中的大多数只是在实验室的原型阶段,商业上可获得的装置和工业中使用的装置基本上是力-反馈接口,例如来自Haption的Virtuose系列。因此,我们将专注于这种类型的界面。

该领域的研究人员一致遵循那些标准以便有效地刺激触觉。用户至少了解它们的存在(我们说的是“透明度”)。这需要最轻的界面,尽可能减少摩擦,使用户可以在自由空间内移动。还需要算力、刚度和足够的带宽,以便我们清楚地感觉到障碍物的存在以及自由空间和接触之间的过渡。为了遵守这些标准,无论使用何种应用,在最一般的情况下,界面必须能够产生数百牛顿的力,表观刚度超过24200N/m,分辨率为至少1微米的位置的力(这是因为,界面在体积为几立方米内测量用户整个身体的位置)。不幸的是,使用现有技术是不可能的,更不用说随着机器人与用户的持续接触而发生的潜在危险。

这样做的结果是,在实践中力-反馈接口要适合执行的任务。因此,Sensable Technologies的Phantom Premium设备(最近由Geomagic收购,然后由3D Systems收购)是在20世纪90年代末开发的,用于有限力且仅沿三个自由度的低幅度任务。这种选择使得生成非常敏感的装置并广泛分布到实验室以研究触觉感知成为可能。在2000年和2010年,该系列产品得到了低成本批量生产的接口(Geomagic Zouch X,Geomagic Touch以及最近的Touch 3D Stylus)补充。该技术可以与直观的3D建模软件相结合设计。其他接口如Virtuose,包括21世纪初提供的Haption,六自由度的力-反馈以及与CATIA或Solidworks等CAD软件的耦合,它们广泛用于工程和设计中心。然而这些接口以及它们的竞争对手(例如Force Dimension公司的产品)都存在局限性。

首先,它们限制用户的移动,因为用户只能对减小的音量进行交互,并且仅通过腕带或笔进行交互,从而严重限制了灵活性。这些界面虽然可以有效地与数字模型进行交互,但不能干预2010年初出现的数字工厂,并且用户不仅要模拟装配链,还要模拟完整的工作环境,包括为研究工作站的人体工程学培训虚拟操作员。这种应用需要具有更大工作空间且允许更高灵活性的接口,为了增加接口,我们可以将现有接口安装在电动载体上,例如Haption的Scalel接口(图2-1-26),使用由连接到框架的电机块组成的拉伸电缆结构(其尺寸可以很容易地适应CAVE)并通过代替机器人结构的电缆连接到腕带,甚至使用外骨骼,通过其运动直接跟踪用户。

图2-1-26　Haption的Scale l(左图)和Able 7D(右图)接口

增加用户移动自由度的另一个解决方案是使用固定到指尖的便携式接口:这些装置在手指垫上局部起作用,并且提供触感,结构紧凑,重量轻。这可以保持用户的灵活性。可佩戴外骨骼手套的情况也是如此,这种手套允许真正的手上力-反馈,但代价是增加了重量和阻碍以及更显著的复杂性(图2-1-28)。

图2-1-27　CEA的IHSl0力-反馈手套(左图)和MANDARIN(右图)

到20世纪90年代末,第二次出现的具有大多数商用的触觉接口反复出现的限制是相对较低的最大表观刚度,为1000—3000N/m。这并没有妨碍模拟装配的任务,因为它可以在视觉形态上发挥作用,而视觉形态在触觉形态上占主导地位,从而给人更大的刚性印象。相反,这对于技术行为培训中使用的应用来说并不有效,这些应用最近得到了很大程度的发展,特别是在医疗领域。对于这样的应用,相对于现实以相同的方式再现手势可以在患者身上再现与他们在模拟中学习的相同的感觉——运动模式。这在牙科和骨科手术中要求必须特别精确,我们正在研究这个难题。如今已经进行了大量研究以增加力-反馈界面的刚度和带宽。Moog公司开发了一种新的触觉界面,由于采用了平行结构,因此非常坚固,并且由于设定了力传感器而非常灵敏。该机器人被整合到多模式培训平台中用于牙科培训——SimodOnt Dental Trainer。目前正由几所牙科学校进行测试。CEA还开发了一种新的颌面外科机器人。由于在优化动作链方面所做的大量工作以及一系列并行混合结构,机器人具有更大的刚性。通过将其与高频振动腕带相关联来增加带宽(图2-1-28)。

图2-1-28　多模式技术手势训练平台-SKILLS

大多数触觉界面的第三个重要限制是它们的价格对于普通大众来说仍然太高:Sensable Technologies取得了很大进展,其次是Geomagic和3D Systems,其界面价格从Phantom Premium时期(20世纪90年代末)的数万美元逐渐减少到Touch 3D时期的600美元(2015),不幸的是,这以大大降低性能(清晰度、力量)、灵敏度和坚固性为代价。Novint的Falcon也是一项有趣的尝试,通过提供具有三个自由度的力-反馈界面,只需几百欧元就可以实现这项技术的普及。然而,尽管在2008年问世,它仍然需要找到一个真正的市场。与普通大众取得真正成功的唯一力-反馈接口是电动方向盘。我们还注意到开源社区中有一些有趣的举措,一些团队为使提供的教育设备成本降低,通常采用具有单一自由度的力-反馈界面。(www.chuimin.cn)

(4)当前状况和未来期望

对于任何用户而言,触觉反馈仍然仅限于振动触觉反馈,在智能手机上非常简单,但在视频游戏控制器上更复杂,其集成了多个振动器,效果被组合以产生复杂的触觉效果。随着高性能虚拟现实HMD以合理的成本出现在市场上,这种状态可能会迅速改变,这也强调了缺乏适用于力-反馈的外围设备C,如利用大量尚未完成的优化工作的MANDARIN手套或Dexta Robotics的Dexmo F2手套等设备正试图满足这一需求。

(二)增强现实中“真实”与“虚拟”的关系

虚拟环境是连续体的一个极端(图2-1-29),另一个极端是我们生活的现实世界。AR应用靠近真实环境,将虚拟信息插入到真实环境中。对于增强虚拟(AV),主要环境是虚拟环境。例如,其中一个元素是真实对象的3D场景如虚拟博物馆中的绘画照片,结合两种环境的所有应用程序创建“混合现实”(RM)。

图2-1-29　Milgram和Kishini的真实—虚拟连续体

AR的特征在于真实和虚拟信息的组合,尤其是从视觉角度来看。要实现这种组合,首先我们必须拥有来自现实世界的数据。任何AR系统,如图2-1-30所示,都需要一个测量系统:这是采集阶段。原始数据不能直接使用(例如,来自扫描的点云需要重建步骤以确定来自它的相应表面),因此有必要处理这些信息。一旦提取了必要信息,就可以将其与生成的数据(例如照明的3D对象)组合。最后,必须通过显示设备来观察这种组合的结果,该显示设备是回归现实。

图2-1-30　真实和虚拟世界的交互和转化

对于来自环境的数据及与用户存在相关的数据,现实世界受物理定律的支配。因此,一般而言必须提供现实与虚拟的连贯组合,无论是从物理定律的角度还是用户感知的角度,这取决于,可能结合这两个方面的应用。如果希望虚拟对象是自然集成的,那么它的移动、照明和与现实世界的交互必须尽可能正确。当目标是创建一个实时系统时,这个真实→虚拟→真实循环会带给我们最小化的延迟,这种强大的约束影响了系统的所有部分。

1.获取与恢复设备

AR主要用于可见光域,光波长度为380—780nm,因此,大多数采集和渲染工具在该领域中起作用。AR应用的普及本质上是工具的普及,重要的是相机和可视化设备(屏幕、虚拟耳机、投影仪),所有这些都在一个便携式外围设备中。

为了与环境相互作用,我们需要获取并考虑更多的数据而不仅仅是摄像机获取的图像:周围的几何形状是什么?这里的光源是什么?反射和折射的特性是什么?对象和用户的动作是什么?将用户置于空间中是AR的关键点之一,它适用于真实和虚拟数据共同定位的假设;也就是说,它们似乎是同一个世界的一部分,特别关注定位问题。为了捕获信息,我们通常使用计算机视觉产生的数字工具。然而,也可以使用超出可见光谱的信号:超出可见光范围的光信号(例如红外线、Kinect使用),磁波(高精度,但需要磁场的映射——用于可控制的环境如驾驶舱),声波(特别是对于环境的几何形状如声呐)和机械能(包括在移动电话、平板电脑、控制器等中的加速度计)。我们将看到基于所有这些技术的交互工具。

2.姿势计算

如图2-1-31所示,虚拟元素的渲染需要从用户的角度了解这些元素的属性(变换A)。然而,这种属性主要是针对固定点(变换B)定义的。然后,我们估计用户关于该相同固定点(变换C)的观点。然后将变换B和C连接,并在此到达转换A即可。

能通过估计3D中的位置和方向来形式化的统称为“姿势”。一般来说,必须估计六个参数:三个用于位置,三个用于方向。有时会设定一些简化的假设:许多智能手机应用程序不计算智能手机的高度而使用合理的值。

目前已经提出了许多不同的方法来估计用户的姿势,但是这个问题仍然很困难,因为:

图2-1-31　姿势计算

姿势计算必须精确。实际上,小于1度的角度偏差将对应于大约2m的偏差,距离大约100m,这在驾驶模拟中是不可接受的。必须非常快速地完成姿势计算以限制延迟。刷新率非常低将导致几何集成不良以及引起用户反感的风险。

用户移动的空间会引起几个问题。例如GPS仅可在室外使用,并且仅提供几十米的精度。标记(将在稍后进行更详细的讨论)必须在相同的图像上显示,这限制了设想的工作空间。在工作空间大的情况下,我们必须考虑使用多种方法,例如GPS用于初始化然后在较小的空间中进行视觉跟踪。

我们现在继续讨论这些不同的方法:

(1)基于传感器的定位(相机外部)

沿三个垂直取向的电磁铁三联体可以通过测量由其他方面施加的磁场来确定其位置和空间方向。然而,该解决方案对金属物体的存在非常敏感,它们会破坏磁场,使用超声波发射器和捕获器的系统可能会非常精确,但它们很昂贵并且需要大型基础设施。

智能手机现在配备了GPS功能可以让它们自己定位,并使用加速度计和罗盘来测量它们的方向。例如,非常成功的游戏Pokemon-GO使用这种技术来提供AR可视化,然而这种方法不具备高精度:GPS最多可以提供几米的精度,而罗盘可以提供几十度的精度。此外,GPS无法在室内访问且其更新频率较低。

(2)基于标记的定位

一个吸引人的方法是从用户的角度捕获图像。事实上,这种方法对AR来说非常自然,相机的定位是计算机视觉研究的重要领域。

使用图像内容进行姿势计算的简单解决方案是添加类似于图2-1-32所示的标记。这些标记被设计成易于通过自动图像分析方法检测和识别。因此它可以实现相机的姿势计算。

图2-1-32　使用标记定位相机。标记有助于相机的姿势计算但不能用于所有应用程序

但这种方法并不总是可以使用,因为标记必须被预先放置和定位,这是限制性的。在真实环境中它们通常是很虚幻的,并且会分散视觉。

(3)基于图像的定位

与上述方法不同,基于图像的方法可以使用图像本身计算相机的姿势,而无须操纵场景。

图2-1-33说明了它的功能:如果已知真实场景中几个元素的空间定位,并且它们在图像中的2D位置也是已知的,则可以计算相机的姿势。例如,如果这些元素是3D中的点,则它们在图像中显示为3D点,并且可以通过三角测量来计算相机的姿势。

图2-1-33　基于图像的空间定位:如果已知场景中几个点的空间位置以及在图像中的新投影,则可以将相机定位在与这些点相同的参考中

然而,虽然问题的几何形状现在已得到很好的控制,但主要的困难是自动解释图像以找到图像中的已知元素。不熟悉计算机视觉的人经常低估这种困难:虽然我们看到的图像似乎很容易解释,但我们的视觉皮层调动了数亿个神经元,这种分析是以一种基本无意识的方式进行的,所以它明显易于解释,但非常复杂,目前仍然没有得到很好地理解。

计算机视觉中普遍的方法是基于兴趣点的使用。如图2-1-34所示,兴趣点对应于图像中不连续性的2D点,当相机移动或修改照明条件时这些不连续性被认为是稳定的:同一场景中的两个图像,取自两个不同的视点,或者在不同的光照条件下,具有对应于相同物理点的兴趣点。

在同一场景的两个图像中自动检测“兴趣点”。这些点对应于图像中的显著位置,并且它们中的大多数对应图像中的相同物理点:例如,如果已知其在3D中的位置,可以使用它们来定位相机;若在某些物体上检测到许多点,在其他物体上检测到很少的点,例如分别在桌布和马克杯上。因此,如马克杯之类的物体更难以用于定位相机。

如果我们可以测量这些兴趣点的3D位置,并在从用户的视点捕获的图像中识别它们,那么可以计算用户的姿势。事实上这是本领域科学文献中许多方法的出发点,然而这种方法可能由于以下几个原因而失败:场景可能提供的兴趣点非常少,室内经常出现这种情况;兴趣点的外观可能有很大差异,因此难以识别,这可能发生在户外,在早晨和傍晚、夏季和冬季之间甚至是由于天气条件,光线发生剧烈变化。因此,使用姿势计算方法是有用的,该方法可以补救兴趣点的过度检测或检测不足,以及2D和3D点之间的不良匹配。

图2-1-34　兴趣点的使用

定位方法不是使用无法感知颜色的传统相机,而是使用能够感知深度信息的相机。与微软游戏机一起发布的Kinect摄像机就是最著名的例子之一。存在不同的技术:一些相机使用“结构光”,包括以红外线投射已知图案,这使得可靠的立体重建成为可能,其他则使用激光束的“飞行时间”。相机给出的深度图对定位有很大帮助,它们可以通过不同的方法使用,但这些摄像机也有很大的局限性:它们是有源传感器,只能在空间有限的室内媒体中发挥作用;金属环境导致不精确;它们还消耗更多能量并迅速耗尽移动设备的电量。

3.逼真的渲染

在AR中,渲染虚拟对象也是很重要的,某些应用需要逼真的渲染。如图2-1-35所示,几何图形和光线必须只作用于虚拟对象上,它们与具有相同几何形状的真实对象类似,并且由相同的材料组成:

首先,真实对象必须遮挡位于它们后面的虚拟对象的部分,这需要非常精确地计量这些真实物体的几何形状和视角;

虚拟物体必须看起来是被真实光源照亮,这需要知道这些光源的属性,例如它们的空间位置、几何形状或功率;

虚拟对象必须在真实场景上投射阴影,除了真正的光源之外,这还需要有关真实场景的几何信息;

必须模拟真实和虚拟部分之间的轻微交换。这可能变得非常复杂。例如虚拟对象必须将落在其上的真实光漫射到真实物体上,从而改变它们的外观。

图2-1-35　模拟真实和虚拟部分之间的轻微交换

一旦知道了视点a,就必须识别位于真实对象后面的虚拟对象的部分,并从最终渲染中删除b,还必须呈现真实和虚拟之间的轻微交互。在这里移除隐藏的部分并将阴影投射到汽车上有助于用户感知到其所需的位置。

这不仅仅是美学效果的问题:这些方面中的每一个对场景的视觉解释都有帮助,但是它们并非都同等重要。例如,不需要非常精确地知道光源的位置,因为视觉皮层对这种错误不是非常敏感。另一方面,在真实对象对虚拟对象进行掩蔽的渲染中,几个像素的误差很容易被察觉。因此,真实图像和虚拟图像之间的边界位于真实物体的轮廓上,而这个轮廓很难根据需要精确地识别,无论是根据计算机视觉还是深度传感器。最后,我们不能忘记在没有任何额外特殊光线的情况下观察真实物体,而虚拟物体通常在屏幕的帮助下被感知,或者至少是在引入光源的设备中被感知,如果不使用补偿机制,它们自然会比真正的对应物更亮。

(三)3D交互带来的复杂性和科学挑战

1.简介

在过去的几年里,我们看到了新一代3D人机交互界面(如微软Kinect,Oculus Rift),它重塑了科学3D交互与虚拟或混合世界的挑战。VRAR为广大公众所认可,并且扩大了使用3D交互的应用领域,同时也给基础性的人机交互界面的研究增加了新的挑战。

2.围绕3D交互环的复杂性与挑战

在这部分内容中,我们选择3D交互循环作为围绕虚拟或混合环境进行3D交互的科学挑战的解释框架。这个循环来自感知—动作循环,它在文献中经常被用来解释虚拟现实和增强现实中的挑战。如图2-1-36所示为3D交互环,其中确定了三个主要挑战。此循环阐释了用户与虚拟或混合环境交互的不同组件。除了3D环境的纯视觉渲染之外,VR-AR旨在让用户沉浸在虚拟或混合世界中。因此,用户可以与数字内容交互并通过不同的感官反馈感知他们动作的效果。使用户真正沉浸在日益复杂的虚拟环境中。VR-AR研究必须面对的一些重要挑战:必须捕获用户的手势,然后直接传输到虚拟世界,以便实时修改。感觉反馈不仅指视觉反馈,还必须与全局多模态响应中的听觉和触觉反馈相结合。

图2-1-36　出现在3D交互环中的三个主要科学挑战的表示

在此背景下,我们确定了三个重大挑战,我们将在以下各节中详细讨论这些挑战,已在图2-1-37中以图解方式描述:

挑战l:用于交互的感觉运动动作

挑战2:多感官反馈

挑战3:用户感知

3.挑战1:用于交互的感觉运动动作

(1)捕获用户数据的爆炸性增长

谈及与虚拟或混合世界进行交互时,第一个挑战就是将用户的动作转录到他所希望与之交互的世界中。几年前,大部分的用户行为受限于用户动作的粗略捕获。

然而,3D界面已经取得了相当大的进步,现在可以捕获用户的各种数据。捕获的最常见数据是动作数据。信息可以检索用户的不同位置,然后将其转录到虚拟或混合世界中。随着市场上出现的许多捕获解决方案,特别是对于普通公众而言,可以记录用户身体的不同部位(他们的手臂,他们的腿,他们的头部)或整个身体的位置。尽管如此,非常精确地捕获仍然是一项关键挑战。因此,捕获用户的手是与虚拟或混合世界交互的必不可少的工具,但仍然不是很精确。而且,我们仍然不能在交互中的任何给定时刻区分不同的手指。解决此技术数据捕获问题的一种有趣方法是使用现有接口来设计交互技术。例如,在跟踪指针的情况下,　“Thing”或Finexus技术使用其他现有接口,例如平板电脑甚至磁性传感器,以便能够实时捕获手指互动(图2-1-37)。

图2-1-37　“Thing”交互技术示例:使用可触摸的平板电脑来捕捉手的动作并在屏幕上映射出动画虚拟手

除了从用户捕获的数据空间精度相关的挑战,时间维度也是科学挑战的一部分。即使在今天,实时跟踪用户移动也是一项重大挑战。在AR中,时间维度特别难以实现:必须精确调整物理和虚拟世界,但目前可用的传感器不够精确。因此,对于需要精确覆盖真实世界和虚拟世界的情况,AR的应用程序数量仍然有限。尽管如此,这些应用程序具有巨大的潜力,并为未来几年的前瞻性研究提供了许多途径,比如增强医学或者土木工程(仅举两个可能的领域)。

(2)选择交互技术

捕获用户数据,有几种在虚拟世界或混合世界中转录这些数据可能的选择。

为了匹配用户在现实世界和虚拟世界中的自由度,完美同构可能被实现,从而尽可能重现现实世界的行为。

考虑到以上所讨论的材料在捕捉用户动作时的限制,这种完美的同构经常被证明难以实施。因此通常优先选择弱同构:用户可以求助于这些通常称为交互技术的机制,以便执行虚拟环境中的任务。

这些交互技术允许他们自己与现实世界中的行为有一些偏差,允许用户执行在日常生活中无法执行的行动。非同构技术通常使得同构技术更有效,并且在执行任务所花费的时间或精度方面有显著的改进,其还可以执行由于材料限制而无法以同构方式执行的任务。

最后,VR-AR应用程序的同构程度将取决于应用程序上下文:在目标是重现真实的情况下通常需要高度同构,而其他情况是更多地从真实的物理世界中获取数据,从而用户可以更容易地接受与现实世界的偏差,选择基于要执行的任务的交互技术:选择对象,操作对象,导航虚拟环境或控制系统。

未来交互技术将面临的挑战之一是扩展其通用性,以便适用于其他环境而非其单纯设计的环境。这一挑战与目前这些技术对拟议应用和可用3D接口的材料限制的依赖性密切相关。在交互隐喻中统一几个数据流还有待探索。3D界面数量及其兼容性的增加会产生新类别的交互技术。

(3)未来的3D交互界面

除了动作捕捉之外,现在还可以记录许多其他类型的用户数据,这些数据与过去几年在实验室和公司内部提出的新3D界面的多样性有关。例如,现在可以借助用户平衡感的接口来跟踪用户的整个身体(图2-1-38)。在较小的规模上,越来越高性能的系统,用户的眼睛可以实时跟踪,用户的能力也可以增强。例如360度视觉。最后,还可以捕获用户的生理测量值,例如他们的肌肉活动,甚至更具创新性,以使用脑机接口来测量大脑活动。与大量数据相关的主要科学挑战在于数据的处理:即使在今天,仍有许多科学问题需要“克服”,以便成功地同步数据将其转录,并以其丰富的内容与虚拟或混合世界交互。

一种新交互接口描述,用户使用整个身体通过这种接口与虚拟世界进行交互。这种叫作“Joyman”的接口(界面)使用用户的平衡感来建立控制的法则,这使得它有可能导航虚拟世界与可以从用户捕获越来越多的数据并行,用于与虚拟世界交互的3D接口在过去几年中也在不断发展。因此,现在使用笨重且昂贵的VR设备较少,让位于一般公众越来越容易接触的轻型接口。未来3D交互相关的科学挑战将会通过最小化材料的方式提供更自然地与虚拟或混合世界交互的能力。解决方案可以是通过捕获未标记的数据,例如Microsoft Kinect,甚至是使用人体作为投影表面的接口,这些新一代3D接口的示例将在未来几年得到发展。

图2-1-38　借助用户平衡感的接口来跟踪用户的整个身体

4.挑战2:多感官反馈

用户在与虚拟世界或混合世界交互时收到的反馈,对他们刚刚在真实世界或虚拟世界中执行的操作赋予意义至关重要。为了改善相互作用,使用者的不同感觉方式发挥作用。听觉和触觉是基本的感觉方式。在本节中,我们将确定与这些不同感官方式相关的科学挑战。

(1)视觉反馈

视觉是在大多数交互系统中被使用最多的感官,尤其是在虚拟现实或混合现实系统中给用户提供反馈。

尽管当前的LCD屏幕技术已经高度成熟,但是将它们用于立体3D渲染仍然是个问题。近年来,我们看到3D电影和电视空前增长,但我们仍然需要配戴眼镜观看这种3D内容,渲染的质量并不能提高到可圈可点的程度。可能的解决方案是使用HMD(正在普及),然而,太多问题出现使得用户只能与虚拟环境交互,与真实环境的交互也存在问题。这些问题是许多研究项目的主题。最初的挑战是改进非沉浸式屏幕的3D渲染技术。这包括在沉浸式环境中促进与所显示内容的交互以及允许用户继续与现实世界交互。

过去几年中,不同的研究项目已经提出了在非平面上的显示。它们可能是皮肤或者甚至房间里的一系列物品。渲染由投影仪执行,投影仪基于物理环境的3D重建实时修改投影,以便正确地投影场景。这些应用的挑战是微型和强大投影系统的可用性,例如,它们是否可以由用户执行。第二个挑战是视觉系统和3D重建系统的集成,使它们在广泛的应用中可以真正发挥作用。开发可动态变形的,动态可重新配置或集成到用户衣服中的显示表面都是需要探索的研究途径,并将在未来几年内取得重大进展。

(2)力反馈

与其他感官方式相比,与触摸相关的触觉方式即使在今天也基本没有得到充分利用。主要原因是多种材料的限制,它们通常会在用户与虚拟物品交互时阻碍充分的触觉反馈。不像其他感官反馈,触觉反馈需要更高的刷新率因此需要经常使用高性能设备。除此之外,人体内的受体使可能恢复触觉的感觉遍布全身,倍增设备和用户之间的接触面。现有的触觉设备主要关注以动觉或触觉方式将力量反馈给用户的手。然而,很少有设备提供力量对多个自由度的反馈,如果他们这样做,大多数是减少到单点联系。因此,未来主要的科学挑战是提供高质量的力反馈设备。同时,需要紧凑和合理定价的设备是一个额外但不可或缺的约束,这些设备在与虚拟世界或混合世界的互动中实现普及。除了材料限制外,还有很多获得高性能的触觉反馈算法。为了将触觉转录给用户,与物理相关的虚拟对象的形式是必不可少的,它们尽可能应该接近真实物体的物理形态。在此背景下,研究物理已经提出了模拟,首先是刚性物体,然后是可变形物体,最后是流体。

也有更多尽可能好的(材料)属性可以被用来转录现实世界的感觉,但是与这些属性相配的高效算法仍然十分稀少。将感觉传递到用户的手是一个科学挑战的例子,当前模型刚刚开始模拟与接触可变形表面的相互作用。

(3)多模态反馈

当今研究领域的一大挑战是结合不同的感官方式。这里面临的挑战与材料和软件相关。从材料的角度来看,需要高性能接口,允许耦合不同的信号,同时保证对用户有一定质量的反馈,特别是在带宽方面,对于触觉反馈仍然非常高。从软件的角度来看,我们必须能够提供可以同步不同感官模态的算法。在上游,这需要虚拟环境的高性能模型,必须为其生成视觉、听觉和触觉信号。这些模型必然基于物理定律,模拟它们的交互时间是当今重要的计算挑战。最近几年提出的初步解决方案,由于要模拟的虚拟场景的复杂性以便为给定的应用获得满意的反馈,它们在实际应用中几乎从未使用过。

5.挑战3:用户感知

与虚拟世界或混合世界的互动必然意味着考虑到每个用户独有的人类维度,其可以分为两个主要区域:一个以每个用户的个人感知为中心,另一个侧重多个用户之间的交互。

(1)更好地理解人类能力的挑战

了解和理解人类的感知能力、运动能力和认知能力对于开发不同的VR-AR技术至关重要,以减少这些技术的一些副作用,例如“晕动症”。

研究人员一起研究了与真实环境中的感知能力、运动能力和认知能力相关的人为因素。与人为技术的交互带来了现实中不存在的问题,例如引入延迟(这是任何交互系统的一个特征)、引入感知冲突或创建不切实际的情况。

这些问题是虚拟系统所独有的,已经由科学界通过不同的研究解决。然而,这里仍有许多工作要做,系统地分析与虚拟现实和混合现实相关的不同感知、运动和认知因素,这些因素可能会影响用户体验。研究者还在进行增量研究,目的是将现有结果外推到更大的背景和更广泛的用户。所有这些项目都可以创建设计指南,不仅适用于材料系统,还适用于操作系统,尤其是应用程序。

(2)如何实现多用户的交互

超越单个用户与虚拟世界交互的感知,当今重大的科学挑战之一是存在多个用户与虚拟环境交互。设计多个用户可以协同工作的协作环境存在两个困难:①协作系统的材料设计和软件设计,其中包含许多可能位于同一地点甚至不同地方的用户;②设计有效的协作技术交互以便每个用户被其他用户的动作通知,从而进行共同的交互。

从材料的角度来看,协作环境需要在多个计算机之间建立本地或扩展网络,这可能对共享虚拟环境的一致性产生重大影响。从软件的角度来看,协作环境面临着与传统环境相同的挑战。除此之外,我们还存在渲染引擎(图形、物理和行为)之间的互操作性问题。允许不同软件之间同步的高级协作系统代表了越来越频繁使用的替代方案之一,另一种是直接分发数据。

从交互技术的角度来看,仍有许多问题需要解决,以促进多个用户之间的交互。此时大多数技术都是在应用环境中提出的,主要用于虚拟原型设计、装配操作或维护。虽然当前的协作系统允许多个用户同时操纵多个对象,但是使多个用户能够操纵同一对象仍然是重要的挑战:用户之间的通信也是需要改进的领域,以便在用户之间和环境本身中转录最大量的信息。因此,未来几年将有大量研究致力于集成的重大问题,以便能够引入从每个用户以及环境本身捕获的多模态数据。

6.结论

我们通过回顾3D交互周期的不同阶段,介绍了与虚拟或混合环境的3D交互相关的主要科学挑战。从技术和科学的角度来看,存在许多挑战,但本章并不能保证提供最详尽的清单。应对这些挑战将使普通大众和专业人士普及VR-AR技术并使其多样化成为可能。