虚拟现实控制器和手部跟踪技术：人机交互变革时代

虚拟体验的用户早就发现,虽然视觉效果非常重要,但如果没有与之相匹配的信号输入手段,体验的品质就会迅速下滑。本来用户完全沉浸在VR体验的视觉效果中一切都挺好的,一旦他们试图移动手脚,然后发现这些动作在虚拟世界中没有反映出来,沉浸感立马就会崩溃。

“虚拟现实体验仅有视觉是不完整的”,Oculus Rift的创始人Palmer Luckcy对维格科技网(The Verge,美国一家科技类新闻网站,其母公司是Vox Media)说。“玩家绝对需要一套完全融合的输入输出系统,这样无论是观察虚拟世界,还是与之互动,都会有自然而然的感觉。”

以下是我们在深入了解VR世界时会见到的各种输入设备及其特点。有些很简单,有些极复杂。但每一种都对虚拟世界中究竟该如何实现互动做出了截然不同的尝试。有时候,最简单的输入就可以带来最棒的体验,如通过注视来触发动作。有时候,没有什么比一只活灵活现的“数字”能带来更好的沉浸感。

(一)注视控制

注视控制可以用于任何一种VR应用程序,是VR互动中很常见的手段,尤其是那种让用户多以被动方式互动的应用程序。　(可以试想一下,通过持续注视某控制器一定时间实现触发是什么情景,使用触摸板或运动控制器主动触发又是什么情景。)像查看视频或照片类的应用程序一样(用户与内容打交道的方式偏于被动),正是注视控制技术的应用范例。

当然,注视控制技术的应用领域不仅仅是被动式互动。“注视”与其他互动手段(如硬件按钮或控制器)结合,也常常在VR环境中用于触发互动。随着眼动跟踪技术越来越流行,注视控制可能会发挥更大的作用。注视控制器对用户注视的方向实施监控,通常内置十字线(或光标)和计时器。要选取某个道具或触发某项操作,用户只需注视一定的秒数。注视控制也可以与其他输入方法结合使用,以实现更深层次的互动。

VR中的十字线(也叫“瞄准线”)可以是任何形式的图案,用来标示用户的注视对象。在不含眼球追踪功能的头显中,十字线通常就是用户视域的中心。在大多数情况下,十字线就是一个简单的点或十字准星,层级位于所有元素之上,用户无论做什么选择,都很容易看见。在头显中集成更复杂的眼动跟踪技术成为主流之前,这种位于视域中心的十字线给我们带来了一种简单的解决方案。

如图2-1-1所示是VR十字线的一个样例。十字线帮助用户知道自己在虚拟环境中究竟在盯着什么。

图2-1-1　VR中正在使用的十字线

(二)眼动跟踪

2016年,一家名为FOVE的公司发布了第一款具有内置眼动跟踪功能的VR头显。Facebook、苹果和谷歌公司也都为自己的各种VR和AR硬件设备大肆收购从事眼动跟踪研究的大小创业公司,这充分说明眼动跟踪的确是一个值得关注的领域。

眼动跟踪有可能为用户带来更直观的VR体验。市售的第一代头显(FOVE的这一类型除外)大都只能判断用户头部朝哪个方向转,判断不了用户是不是真的朝那个方向看。

如本章前面所述,大多数头显使用位于用户视野中间的十字线来告知用户那就是视线的焦点。然而在现实世界,人们的视线焦点并不一定正好在自己脸部的正前方。即使是看着眼睛正前方的计算机屏幕,我们的视线也经常在屏幕的底部和顶部之间扫来扫去,这样才能对各种菜单做出选择,视线偶尔甚至会落到键盘或鼠标上,而此时我们的头部有可能分毫未动。

眼动跟踪的另一个好处是能够给应用程序增加焦点渲染(Foveated Rendering)功能。焦点渲染的意思是,只有用户直接注视的区域才会进行完整渲染,其他区域在渲染时会降低图像质量。当前的头显自始至终都在完整渲染全部可视区域,因为它们不“知道”用户实际上在盯着什么看。而焦点渲染技术一次只完整渲染一小块区域。这就降低了渲染复杂VR环境所需的工作量,从而使低功率计算机或移动设备能够营造复杂的体验效果,使VR能够走近更多的人。

如图2-1-2所示,是焦点渲染工作原理示意。视线集中在哪里,哪里就会保持全分辨率的渲染精度。另外,在全分辨率的焦点区和低分辨率的边缘区之间还有一个过渡区。

图2-1-2　焦点渲染工作原理示意

与FOVE潜心研究自家头显的眼动跟踪技术不同,Tobii和7invensun等厂商的研发重点是能给市售VR设备增加焦点渲染功能的配套硬件。各大头显制造商普遍对其下一代产品是否计划添加眼动跟踪功能缄口不言,由此可以看出,给装置装上眼动跟踪的翅膀可能需要一代甚至两代的时间,但这件事情绝对值得持续关注。如图2-1-3所示,为Virtuix Omni跑步机用于VR中的行进。

图2-1-3　Virtuix Omni跑步机用于VR中的行进

很多控制器方案都可以在街机或其他一次性装置中找到商机。关键是要找出哪些外设会成为VR世界的下一个顶梁柱,而哪些最终会被淘汰。

VR控制技术的发展确实势如破竹,而且必将如日中天,不然我们也没必要在这里讨论它的前景。理由很充分:从来没有人“真正”在VR世界找到过模拟现实世界的“方法”。也许是因为人类对现实的感知太复杂了,所以永远都不会有真正的方法能够把我们与现实世界的互动完全模拟出来。也许VR会让我们清楚,我们“希望”用什么输入方法来融入现实世界。

至少现在,当然也包括不久的将来,VR要想尽可能多地模拟各种互动,还是需要围绕注视和运动控制器这两种技术展开。但其进一步的发展,我们就不可预知了。

(三)手部跟踪

手部跟踪技术的意思是,在无须给双手佩戴额外硬件的情况下,使头显能够捕捉用户的手部动作。很多人认为手部跟踪将是运动控制器之后的下一代技术。也有很多公司正在研究如何将手部跟踪技术应用于各种VR技术中,而且这种技术在AR领域的步伐明显要迈得快一些。Leap Motion等公司多年来一直在广泛开展手部跟踪技术的研究,不管是不是用于VR。Leap Motion公司的第一代手部跟踪控制器诞生于2012年,用于2D屏幕。VR的兴起同样激起了这家公司的兴趣,它们的技术在VR互动领域显然大有可为。

运动控制器在VR世界中看到的形象通常是控制器、　“魔杖”、虚拟“假”手或类似的造型,而手部跟踪技术可以将手的形象直接带入虚拟空间。在现实世界捏紧手指头,在虚拟世界也会捏紧手指头;在现实世界竖起大拇指,在虚拟世界也会竖起大拇指;在现实世界比出“V”字手势,在虚拟世界也会比出“V”字手势。能够在VR世界看到自己的手(实际上经过了数字处理),甚至连每一根手指的动作都能看清楚,的确是一种颇有些迷幻色彩的体验。那种感觉,就像是我们有了一具新的躯体。我们可能会在VR中一直盯着自己的手看,一会儿张开手掌,一会儿握紧拳头,只是为了观察自己在虚拟世界的手如何做同样的事情。

手部跟踪技术的视觉效果的确惊人,但也有缺点。与运动控制器不同,手部跟踪在虚拟空间中的互动能力在某种程度上是有限的。运动控制器可以实现很多种硬件互动。它的各种硬件(如按钮、触控板、触发器等)都可以触发虚拟世界中的不同事件,仅凭手部跟踪技术可实现不了这么多功能。利用手部跟踪作为主要互动方法的应用程序可能需要解决多种场景下的输入问题。如果只靠手部来输入,那么工作量会很大。

手部跟踪技术的另一个缺点是,尽管跟踪过程本身令人印象深刻,但它缺乏用户在现实世界互动时所具备的那种触觉反馈。比如,在现实世界拾取一个盒子是有触觉反馈的,而在VR中,仅仅依靠手部跟踪技术是不会有触觉反馈的,这会让许多用户感到不舒适。

在不久的将来,在标准的消费级VR体验中,手部跟踪技术可能会继续排在运动控制器之后,让后者继续发挥最重要的作用,然而迟早有一天,手部跟踪技术会在VR世界找到自己的位置。这种体验太特别了,一定会有一种办法让它在数字世界发挥作用。

(四)切换按钮

切换按钮非常简单,没什么必要专门提到它。目前,切换按钮已经成为最畅销的VR头显——“Google Cardboard”上的独一无二的输入手段。其本质就是一个简单的开关,使用十分便捷,只需“咔嗒”一声,动作即可开始。

(五)键盘和鼠标

有些VR头显在互动时使用了非标准的特制键盘和鼠标,但这种方法是有问题的,因为玩家根本无法在装置内部看到键盘。即便是打字最快的人,在看不到键盘(哪怕只有一眼)的时候,也会束手无策。(www.chuimin.cn)

鼠标同样如此。在标准的2D数字世界中,如台式计算机,鼠标一直都是“浏览周边环境”的标准工具。但在3D世界里,应该用头显的“注视”功能来控制用户的视界。在一些早期的应用中,鼠标和注视控制系统都可以改变用户的视线,这样的设置可能会造成冲突,因为鼠标拖动的视线完全有可能与注视控制系统相反。

尽管有些VR应用程序支持使用键盘和鼠标,但随着一体式输入解决方案成为主流,这两种输入方法都已经过时了。当然,这些新型一体式解决方案也有自己的问题。如果键盘不再作为主输入设备,那么如何将长格式文本输入应用程序?为了解决这个问题,人们又提出了很多不同类型的控制方法。罗技研制了一种尚处于概念验证阶段的VR配件,能让HTC Vive的用户在虚拟世界里看到真实键盘的影像。它将一种跟踪装置连接到键盘上,然后在VR空间中建立起键盘的3D模型,叠加在真实键盘所处的位置上,这种解决办法很有意思,也确实能够帮助玩家录入文字。

全数字的文字录入办法其实也有。Jonathan Ravasz的“敲打式键盘”(Punch Keyboard)是一种联想输入式键盘,用户可以使用运动控制器作为鼓槌,敲打就是录入。如图2-1-4所示,为正在使用的敲打式键盘。但未来VR应用程序的开发人员还是得找到更好的文本输入方法并形成标准,不然很难实现大规模普及。

图2-1-4　Jonathan Ravasz的“敲打式键盘”

(六)运动控制器

在2D的PC游戏时代,运动控制器曾被当成某种噱头,如今已成为VR互动的行业标准设备。几乎所有的大型头显厂商都发布了与自家装置兼容的整套运动控制器。

如图2-1-5所示,是一对Oculus Touch运动控制器,也是Oculus Rift最新的配套装备。HTC和Microsoft也有类似的产品,都属于没有线缆牵绊的运动控制器。

图2-1-5　一对Oculus Touch运动控制器

在理想情况下,终端用户应该是近乎感觉不到控制器存在的。然而之前我们介绍过这么多输入手段,没有哪一个能让用户在无意识的状态下就可以把动作做了:我正在按动头显的侧按钮;我正在寻找、轻按键盘上的W键。而运动控制器沿着解决这个问题的方向迈出了一步。运动控制器在VR体验的过程中是看得见的,而且感觉像是手的自然伸展。许多高端VR控制器甚至具备“6自由度”移动能力,能带来更深入的沉浸感。

“6自由度”　(6DoF,Six Degrees of Freedom)指某个物体在三维空间中随意移动的能力。在VR领域,这个术语一般是指前后、上下、左右各个方向的移动能力,而且这个移动能力既包括方向上的(旋转),又包括位置上的(平移)。“6自由度”使得控制器可以在VR空间中对自身在真实空间中的位置和旋转角度实现逼真的跟踪。

不仅仅是高端产品,就连第一代的中端移动型头显(Gear VR和Daydream)同样有自己的运动控制器。当然,与高端系列相比,它们的运动控制器并不算什么,通常就是一些具有不同功能的单个控制器(触摸板、音量控制、后退/主页按钮等)而已。由于控制器在虚拟世界中以某种形式才能看得见,所以用户可以“看到”他的手在现实世界中的动作。与高端产品不同,中端的运动控制器通常只具备“3自由度”的运动能力(只能追踪他们在虚拟世界中的旋转角度)。

如图2-1-6所示,是使用Samsung Gear VR控制器时用户在VR中看到的内容。真实设备的虚拟形象使用户能够在VR中确定道具的位置。

图2-1-6　Samsung Gear VR控制器

Gear VR和Daydream控制器的动作捕捉能力虽然明显胜过移动型设备,但与高端无线头显的精确度相比还是有着天壤之别的。而且如果未配双运动控制器(可以双手操作),有时会给人一种加强版电视遥控器的感觉。

当然,就算这些中端产品的控制器不如高端系列复杂,只能简单地用单手控制,但也可以给用户带来比前面那些办法更好的VR体验。能够在虚拟空间中“看到”控制器并能跟踪其在真实空间中的移动轨迹,不仅是让用户在虚拟世界中获得沉浸感的一大步,还是将用户在真实世界的动作导入虚拟空间的一大步。高端的头显(如Rift、Vive和Windows Mixed Reality)配备的无线运动控制器都是一对。虽然不同的运动控制器之间有一些细微的差别(Vive“魔杖”上的触摸板跟Oculus Touch的模拟操纵杆相比,如图2-1-7所示),但它们总体上还是有很多相似的特点。

图2-1-7　一对HTC Vive“魔杖”运动控制器

这些成对的高端控制器能够实现极为精确(亚毫米级)的物体探测能力。当我们低头的时候可以看到控制器和身体一起移动,实现这种效果是让VR体验真正身临其境的又一个关键。

接下来,很多VR应用程序开始将运动控制器作为唯一的主输入设备了。运动控制器似乎已成为目前VR互动技术的标准。虽然实际上还有很多其他方法可以选择,只不过大部分仍在开发中。

(七)一体式触摸板

一些硬件制造商,如三星(在Gear VR上),通过在头显侧面加装一块完整的触摸板,把一体式硬件按钮的想法向前推进了一步。如图2-1-8所示,显示的是三星用于触碰、滑动和单击的一体式触摸板(1),以及一体式“主页”按钮(2)和“返回”按钮(3)。

图2-1-8　Samsung Gear VR的一体式触摸板

与简单的切换按钮相比,触摸板可实现更好的互动效果。触摸板使用户可以根据需要水平或垂直滑动,点取道具、调节音量和退出。如果用户一时找不到设备的运动控制器,触摸板还可以当作备用控制方法使用。但是一体式控制解决方案有一个缺点,需要以某种方式与设备建立通信联系。例如,采用一体式硬件控制方式的移动VR头显可能需要通过micro-USB或类似接口与移动设备连接。此外,由于触摸板可能无法以自然的方式融入虚拟世界(模拟虚拟世界中的控制器),因此,会大大降低用户体验的真实感。

(八)标准游戏手柄

许多头显和控制器都支持标准游戏手柄或电玩控制器,这也是许多游戏玩家熟悉的输入解决方案。最初的Oculus Rift甚至附带了一个Xbox One控制手柄,对于它,玩家已经熟悉到不能再熟悉的程度了(图2-1-9)。

图2-1-9　Xbox one控制手柄

但是,把游戏手柄作为输入手段用于VR,融合度感觉也不比其他的办法好。只不过对于众多同时也是游戏玩家的VR用户来说,手柄实在是太熟悉了,而且也是脱离键盘和鼠标的良好开端。大多数VR头显也不再依赖标准游戏手柄作为主要输入方法,它们更喜欢采用融合度更高的运动控制器。

标准游戏手柄最主要的问题就是难以融入虚拟世界。在真实世界中使用游戏手柄的感觉和在虚拟世界有着很大的差异,大到可以把用户从VR的沉浸感中拎出来再狠狠地砸到地上。这也很可能是大多数头显宁可自行研发融合度更高的运动控制器的原因。