混合现实现状分析：人机交互变革时代研究

2023-10-18 理论教育版权反馈

【摘要】：混合现实可以让我们在观察现实世界的同时把计算机生成的内容整合进去,而且这些内容可以与现实世界互动。在基于AR的MR中,数字世界的事物不再生硬地置于现实世界之上,而是表现为现实世界的一部分。苹果公司的ARKit和谷歌公司的ARCore虽然叫作AR,但实际上介于AR和MR之间,这也说明在业内确实存在命名偏差的现象。通常情况下,“混合现实” 和“增强现实”可以作为同义词使用。

MR即混合现实,与VR、AR同属于现实增强技术,是由“智能硬件之父”多伦多大学教授史帝夫·曼提出的新概念,它包括了增强现实和增强虚拟,指的是合并现实和虚拟世界而产生的新的可视化环境,即数字化现实+虚拟数字画面。

可以说,MR是站在VR和AR两者的肩膀上发展出来的混合技术形式,相当取巧,是一种既继承了两者的优点,同时也摒除了两者大部分缺点的新兴技术,MR与AR、VR两者的融合主要体现在渲染和光学+3D重构上,而它们唯一的共同点便是具有实时交互性。即MR=VR+AR=真实世界+虚拟世界+数字化信息。

混合现实可以让我们在观察现实世界的同时把计算机生成的内容整合进去,而且这些内容可以与现实世界互动。当然,也可以创建完全数字化的环境与现实世界中的东西互联。这种方式使MR有时像VR,有时又像AR。在基于AR的MR中,数字世界的事物不再生硬地置于现实世界之上,而是表现为现实世界的一部分。虚拟物体看起来好像存在于现实空间中,人们甚至可以与一些虚拟物体进行互动,就像它们真的存在一样。例如,我们可以将一枚虚拟火箭置于咖啡桌上,看着它发射升空,也可以让虚拟足球在现实世界的墙壁和地板上弹跳。

苹果公司的ARKit和谷歌公司的ARCore虽然叫作AR,但实际上介于AR和MR之间,这也说明在业内确实存在命名偏差的现象。虽然它们都是把数字影像层投射到真实世界中,但也具备扫描现实环境和物体表面追踪的能力。而用户也因此能够将虚拟物体放置在现实世界中,把虚拟阴影投射到真实世界的物体上,还可以根据现实世界的照明条件调整虚拟物体的亮度等——所有这一切都更偏向于MR。

在其他一些MR实例中,虽然我们可能只看得到完全数字化的环境,看不到现实世界,但数字环境与我们周围的真实世界的确密不可分。在虚拟世界中,真实世界的桌子或椅子可能会显示为岩石或树木,办公室墙壁也可能看起来像布满苔藓的洞穴内壁,这就是基于VR技术的MR,有时也叫作“增强虚境”。

按照严格的定义,AR是不与增强后的数字世界互动的,而MR可以。但这些曾经严格区分的定义现在也越来越模糊。通常情况下,“混合现实” 和“增强现实”可以作为同义词使用。随着时间的流逝,它们的内涵也可能会改变或延伸。

你可以戴着MR设备进行摩托车设计,现实世界中可能真的有一些组件在那里,也可能没有,也可以戴着MR设备在客厅玩游戏,客厅就是你游戏的地图,同时又有一些虚拟的元素融入进来。总之,MR设备给到你的是一个混沌的世界:如数字模拟技术(显示、声音、触觉)等,你根本感受不到二者差异。正是因为这些介导现实技术才更有想象空间。

在设备方面,微软公司于2015年开发出的一种MR头显Holo Lens和Magic Leap公司正在研发的产品,都可以称得上是MR设备中的代表。

微软的Holo Lens(图2-3-1)是基于AR技术的MR头显,能够扫描真实环境并同虚拟物体融合在一起。微软的Meta 2也采用了这项技术,比苹果公司和谷歌公司目前基于平板电脑的产品更进一步。Meta 2能把数字环境投射到半透明的面罩上,使我们的双手能够与数字物体进行互动,简直像真的一样。

pagenumber_ebook=100,pagenumber_book=93

图2-3-1　微软的HoloLens头显

使用者可以很轻松地在现实场景中辨别出虚拟图像,并对其发号施令。最典型的MR应用场景就是微软在Holo Lense发布会上展示的,用户可以在自家的客厅里大战入侵的外星生物,如图2-3-2所示。

pagenumber_ebook=101,pagenumber_book=94 (www.chuimin.cn)

图2-3-2　用户使用HoloLens在家中畅玩

并且,使用Holo Lens的用户仍然可以行走自如,随意与人交谈,全然不必担心会撞到墙。眼镜将会追踪你的移动和视线,通过摄像头对室内物体进行观察,因此设备可以得知桌子、椅子和其他对象的方位,然后其可以在这些对象表面甚至内部投射3D图像,进而生成适当的虚拟对象,通过光线投射到你的眼中。因为设备知道你的方位,你可以通过手势(目前只支持半空中抬起和放下手指点击)来与虚拟2D对象交互。各种传感器可以追踪你在室内的移动,然后通过层叠的彩色镜片创建出可以从不同角度交互的对象。此外,它还可以投射新闻信息流、收看视频、查看天气、辅助3D建模、协助模拟登陆火星场景、模拟游戏,等等。

Magic Leap成立于2011年,是一家位于美国的增强现实公司。Magic Leap是一个类似微软Holo Lens的增强现实平台。它涉及视网膜投影技术,主要研发方向就是将三维图像投射到人的视野中,如图2-3-3所示。目前Magic Leap正在研发的增强现实产品可以简单理解成谷歌眼镜与Oculus Rift的一种结合体,但它还没有推出过正式的产品,人们所看到的让人吃惊的画面也仅为概念视频,并不是我们所想象的裸眼3D,因为影像是要投到介质上的,只能说是一个让人惊艳的效果图。关于Magic Leap的产品,Rony Abovitz将它描述为一款小巧的独立计算机,人们在公共场合使用它也可以很舒服。

pagenumber_ebook=102,pagenumber_book=95

图2-3-3　Magic Leap官网宣传图

就MR的定义来看,或许会让读者感觉与AR十分接近,但其实两者之间有两点明显的区别:一是虚拟物体的相对位置会否随用户而改变;第二则是用户是否能明显区分虚拟与现实的物品。

第一点,以谷歌眼镜(属于AR产品)为例,如图2-3-4所示。它透过投影的方式在眼前呈现天气面板,当你的头部转动的时候,这个天气面板都会随之移动,跟眼睛之间的相对位置不变。反之,Holo Lens(属于MR产品)也有类似功能,当Holo Lens在空间的墙上投影出天气面板,无论在房间如何移动,天气面板都会出现在固定位置的墙上,也就是所投影出的虚拟资讯与你之间的相对位置会改变。

pagenumber_ebook=102,pagenumber_book=95

图2-3-4　谷歌眼镜投影虚拟物体(左)与Holo Lens的虚拟物体(右)

AR与MR的第二点不同则在于投影出来的物件,在AR设备中能够明显被辨识,例如MSQRD APP中所呈现的虚拟效果。但是Magic Leap是向眼睛直接投射4D光场画面,因此使用者无法在戴上Magic Leap时分辨出真实物体与虚拟物体,如图2-3-5所示。

pagenumber_ebook=103,pagenumber_book=96

图2-3-5　Margic Leap

混合现实现状分析：人机交互变革时代研究

相关推荐