增强现实控制器的问题与解决方案

2023-10-18 理论教育版权反馈

【摘要】：AR和MR控制器与VR控制器存在的问题大相径庭。用户看得见现实世界,那么使用控制器与看起来存在于现实世界中的数字影像进行互动就会很诡异。(一)注视与VR一样,注视控制是AR互动的常见方式,而且通常与其他互动方式结合使用。要知道学习一门新技能是有难度的,学会控制AR应用程序亦然。用户习惯于通过一系列敲击、滑动或类似动作来实现屏幕内容的导航,但这样的动作远不足以满足AR世界导航和控制的需求。

AR和MR控制器与VR控制器存在的问题大相径庭。大多数VR头显会完全遮住用户的外部视线,而AR要么具备视频输入功能,要么配备的是半透明观察镜,所以能够看见周围的世界。这使传统的头显存在的一些问题变得简单。用户看得见现实世界,就不会没头没脑地摸索现实世界中的物体。

但另一方面,这种“增强”的视觉效果也会令其他一些技术问题变得更加复杂。用户看得见现实世界,那么使用控制器与看起来存在于现实世界中的数字影像进行互动就会很诡异。这就要求开发人员另想办法让我们的双手同这些数字对象互动。

以下内容介绍了一些与AR中的物体互动的方法。

(一)注视

与VR一样,注视控制是AR互动的常见方式,而且通常与其他互动方式(如手势或控制器点击)结合使用。通过让头部(或设备)环顾四周构建出用户的当前动作,然后根据用户注视的目标触发互动。

移动设备上的注视控制功能通常会有一张跟随用户视线的网格,这有助于看清数字影像在现实世界中的目标位置。如图2-2-3所示,是Android系统的类似处理方案。虚拟网格叠加在真实场景之上,用户可以清楚地看到Android机器人的形象。一些基于头显的AR应用内含位于用户视线中心的瞄准线(光标或十字线),方便用户确定互动对象,这样应用程序就能知道用户的注意力焦点在哪里。如果应用程序需要用户把注意力放在某个重要目标上,也可以在场景中予以提示。

pagenumber_ebook=88,pagenumber_book=81

注视控制技术在今天的AR中相当好用,但要把注视控制和眼动跟踪功能结合起来用,才能焕发出它们应有的光彩。目前,不管是VR还是AR,“注视”都需要用户转动整个头部,而即将面世的眼动跟踪技术有望让这个动作更加自然。在现实世界中,当我们注视某个东西时,很少会转动整个头部并把它放在视线的中心。实际上,只有当转动眼睛仍满足不了我们的需要时,我们才会考虑转动头部。有了眼动跟踪技术,AR头显要考虑的问题就不仅仅是头部的动作了,还包括眼睛的动作。期待当眼动跟踪技术成为主流的那一天,注视跟踪的使用能够带来AR的爆发式增长。

(二)语音

会话用户界面(UI),或者说使用我们熟悉的语言从事人机交流,是发展最快的新兴技术之一。无论是亚马逊的Alexa、谷歌的Home,还是苹果的Siri,会话UI与人工智能相结合,很快在人类社会中找到了一席之地。

语音和语言成VR和AR的输入控制方法是水到渠成的事,因为语音是一种自然的交流方式,与传统的硬件控制方法相比,它具有非常小的学习曲线。要知道学习一门新技能是有难度的,学会控制AR应用程序亦然。人们使用语音就是为了克服学习过程中的困难,努力使人机交流变得更加自然。

Magic Leap曾经演示过其AR设备的语音控制功能,谷歌公司和苹果公司也都在自己的移动设备中内置了自己开发的数字助理,微软甚至已在自己的AR头显中全面使用语音命令。不管是HoloLens还是Windows Mixed Reality,核心互动方式都是语音。

为了推动AR语音互动标准的建立,微软开发了一套语音指令用于常规控制(如选择、开始、传送、返回等),还允许开发人员使用自定义音频输入指令来构建自己的语音控件。最重要的是,这套指令还有听写功能,用户能够通过语音实现文本输入,不再依赖一直让VR和AR应用“头疼不已”的数字键盘。

尽管语音可能永远不会成为AR应用唯一的输入方法,但是对于大多数AR设备而言,它肯定会在不久的将来发挥巨大作用。

(三)触摸

触摸主要用于移动设备上的AR互动。由于AR在一些很流行的App(如移动设备上的Snapchat)中的广泛使用,因而迅速进入了大众视野。然而这些设备(如智能手机)其实并不是专门为AR设计的,所以也存在着一些问题。

在AR应用中如何使用移动设备实现信号输入就是其中之一。用户习惯于通过一系列敲击、滑动或类似动作来实现屏幕内容的导航,但这样的动作远不足以满足AR世界导航和控制的需求。

另外,移动设备又不可能增加新的硬件,因此,也无法直接采用那些新的互动方式。所以,互动必须立足于现有的移动设备。显然,这是应用程序开发人员需要解决的问题。大多数开发人员采用的对策是利用移动设备既有的互动方式加上注视控制(后面进行介绍),例如,用户可以将视线中心的光标或十字线移到3D空间中的数字影像上,单击屏幕选中,然后就可以拖动了。

根据苹果设备用户界面手册的建议,如图2-2-4所示,说明了开发人员如何指导用户在现实世界与数字影像互动。在这个例子中,虚拟物体被放置在现实世界。在图2-2-4的左侧窗格中,注意地毯周围的角标,表示正在进行平面(平坦表面)检测;中间的窗格显示的是地毯上的焦点方块(实线勾画的长方形),表示用户已经可以触摸屏幕了,同时还显示了利用触摸动作放置物体的目标位置。在用户放置好物体后,焦点方块消失,只留下已放置在“真实”世界中的虚拟对象,如图2-2-4右侧所示是最终的图像。

pagenumber_ebook=90,pagenumber_book=83 (www.chuimin.cn)

图2-2-4　通过触摸将虚拟物体放置于移动型AR中

(四)手部跟踪

AR与VR有一个很大的区别,前者能让用户看到周围的环境,包括我们用来与周围世界进行身体互动的最常用工具:双手。看得见双手,在AR中实现手部跟踪就比在VR中容易得多,问题也更少。

利用手部跟踪技术,有些AR头显把手势输入作为核心体验的一部分。对大多数VR产品而言,手部跟踪技术虽然有用,但不是必需,相比之下,它在AR领域绝对是首选项。想想鼠标对传统二维屏幕的重要性,手部跟踪技术在AR世界的地位绝对不比它差。Meta 2和HoloLens各自都有一系列标准化手势实现与数字影像的互动。

如图2-2-5所示,是Meta 2的手部跟踪技术和正在用双手做抓握动作的用户。无独有偶,一些公司(如瑞典的ManoMotion)也在研究如何将手势分析和识别技术深度纳入AR的世界。ManoMotion的名气主要来自它们对移动型AR的支持,在它们的帮助下,开发人员可以在移动应用中使用手势这种更“自然”的互动方法,久旱甘霖,莫过于此。

pagenumber_ebook=91,pagenumber_book=84

图2-2-5　Meta 2手势

大多数AR头显都面临着一个大问题,一旦双手移到互动跟踪区以外,就无法跟踪了。当然,这个区域通常是指头显或移动设备的视线范围。换句话说就是通过手势、手部动作或其他类似方式进行的任何互动,一般都需要将双手直接放在视线前方,并非不允许用手。但在现实生活中,确实在做很多事情的时候根本不需要把手放在眼前(想想触摸屏打字、使用鼠标、操作电子游戏手柄,还有驾驶汽车等)。虽然也有办法可以在视线以外跟踪用户的手部动作,但需要额外的硬件,而且可能会影响手部跟踪的连贯度。但是,视线以外的手部动作跟踪问题,还是留给未来的AR头显解决吧!

(五)键盘和鼠标

随着我们在完全数字化的天空中放飞,利用未来的控制输入方法塑造我们的数字世界,我们很容易想象出一个完全脱离键盘和鼠标的未来。

然而现实情况是,使用键盘或鼠标依然是目前最好的输入方法。现有的AR产品显然考虑到了这一点,例如,Meta 2就接受键盘和鼠标输入。而且,虽然Meta 2的设计师认为随着手部跟踪技术的发展,对鼠标的依赖会逐渐减少,但在诸如长文本输入这样的情况下,键盘仍是在可预见的未来最简便的输入方法。当然,随着语音控制技术的兴起(后面进行讨论),也许对键盘输入的需求也会减少。

(六)运动控制器

即使微软HoloLens这样的低端头显也配有非常简单的外围设备,如HoloLens Clicker(图2-2-6),这是一款让用户能够以最小的手部动作进行单击和滚动的设备,避免了在空中做单击手势,那很不舒适。

pagenumber_ebook=92,pagenumber_book=85

图2-2-6　HoloLens　Clicker

像Clicker这样的简单控制器,主要用来弥合无须硬件的自然控制方式(如语音和手势)与全功能的运动控制器之间的差异。Clicker通常与注视控制功能一起使用,可以让用户进行简单的互动,例如,先注视某个数字影像,单击选中(或者按住后滚动),然后向上或向下翻转Clickero Clicker确实解决了手部跟踪技术存在的一些问题。单击选取,随心所欲,无须将手放在头显的视线内。还有一些高端一点的设备,如微软目前用于Windows Mixed Reality的运动控制器和Magic Leap的“6自由度”控制头显。AR版的运动控制器与VR版的非常相似,都在尽力模仿手部和手势的自然动作。

在AR中使用运动控制器可以实现某些仅靠手势无法做到的功能,例如,给数字影像的选择和移动添加更多选项。

总体而言,AR目前可用的控制器少于VR。VR在消费领域已走在前面,AR要迎头赶上还得努力,但我们还是能看到一些成果。AR的专注点是现实世界和虚拟世界的融合,最关键的是要在两者之间建立连贯的关系。建立这种关系意味着在硬件解决方案上要遵从“少即是多”的理念,选择最自然的互动方式(手部跟踪、语音输入)。很可能用不了太久,AR用户就会发现自己可以通过触摸、注视、语音和手部跟踪等各种方式与AR世界中的数字影像互动。

增强现实控制器的问题与解决方案

相关推荐