硅谷创新模型（趋势洞察泛现实技术应用及8大体验维度分析）

硅谷创新模型（趋势洞察泛现实技术应用及8大体验维度分析）混合现实（MR-Mixed Reality）是真实世界和虚拟世界的融合，以产生新的环境和可视化场景，使物理和数字对象共存并实时交互体验。混合现实不仅发生在物理世界或虚拟世界中，它是由现实与虚拟的结合，通过AR和VR混合产生的沉浸式泛现实技术。当前的VR技术最常使用头戴显示器或多投影环境，有时结合物理环境或道具，以生成逼真的图像，声音 和其他感觉，模拟用户在虚构环境中的物理存在。使用虚拟现实设备的人能够“环顾”人造世界，在其中移动，并与虚拟形象或虚拟目标进行交互。VR主要应用于娱乐领域，在医疗、军事等领域中也有卓越的贡献。泛现实技术（XR），相较其他而言是一个较为新的词语，是一个新兴的总称术语，适用于所有计算机生成的环境，它们可以合并物理和虚拟世界，也可以为用户创建完全身临其境的体验。以目前的科技进程，XR可以称之为增强显示（AR-Augmented Reality）、 虚拟现实（VR-Vi

文章针对泛现实技术展开分析研究，了解其过去、现在和未来的整体趋势。就当前热门的泛现实类产品应用而言，整理总结了需要关注的体验设计8个维度，给行业从业者以启示。

泛现实技术（XR-Extended Reality）是VR，AR和MR的总称，以及未来可能出现的延展技术。泛现实技术将作为一个方向标，引领人们进入下一个科技世代，给人类的各方面带来有意义的改变，如泛现实技术与娱乐、医疗、出行、教育等等行业结合。

我们相信XR在未来不只是现在的辅助地位，随着泛现实类技术瓶颈的不断突破将产生革命性的应用体验升级，现实和虚拟之间的边界变得越来越模糊，在我们生活中，XR应用将随处可见。

我们针对泛现实技术展开分析研究，了解其过去、现在和未来的整体趋势。就当前热门的泛现实类产品应用而言，整理总结了需要关注的体验设计8个维度，给行业从业者以启示。期待让XR不只是停留在技术研究层面，而是更进一步的融入到我们的生活场景中。

一、泛现实技术起源与发展

泛现实技术（XR），相较其他而言是一个较为新的词语，是一个新兴的总称术语，适用于所有计算机生成的环境，它们可以合并物理和虚拟世界，也可以为用户创建完全身临其境的体验。以目前的科技进程，XR可以称之为增强显示（AR-Augmented Reality）、 虚拟现实（VR-Visual Reality）和混合现实（MR-Mixed Reality）的总称。

AR

增强现实（AR-Augmented Reality），是一种将真实世界和虚拟世界的信息无缝衔接的新型交互体验，把在真实世界中一定时间空间范围内很难体验到的实体信息（视觉、听觉、嗅觉、触觉等感官维度），通过计算机技术，将虚拟的信息模拟叠加到真实世界，被人类感官所感知，从而达到超越现实的感官体验。重叠的感官信息可以是建设性的（和自然环境融合）或破坏性的（覆盖自然环境）。AR应用范围非常广泛，社交、娱乐、教育、医疗、军事、旅游观光、新零售等行业都受到了影响，甚至是革命性的变化。

VR

虚拟现实（VR-Visual Reality）是在模拟环境中发生的计算机生成的交互式体验。它主要包括听觉和视觉反馈，但也可能允许其他类型的感官反馈（如触觉、嗅觉）。这种沉浸式环境可以和现实世界一样，也可以是奇幻的、有违常理的世界。

当前的VR技术最常使用头戴显示器或多投影环境，有时结合物理环境或道具，以生成逼真的图像，声音 和其他感觉，模拟用户在虚构环境中的物理存在。使用虚拟现实设备的人能够“环顾”人造世界，在其中移动，并与虚拟形象或虚拟目标进行交互。VR主要应用于娱乐领域，在医疗、军事等领域中也有卓越的贡献。

MR

混合现实（MR-Mixed Reality）是真实世界和虚拟世界的融合，以产生新的环境和可视化场景，使物理和数字对象共存并实时交互体验。混合现实不仅发生在物理世界或虚拟世界中，它是由现实与虚拟的结合，通过AR和VR混合产生的沉浸式泛现实技术。

二、泛现实产品形态的区别

三者的区别

• AR：将虚拟的信息模拟叠加到真实世界，让使用者与叠加的虚拟信息交互。
• VR：将虚拟的信息覆盖掉真实世界，让使用者完全沉浸在虚拟世界中。
• MR：不仅覆盖，而且将虚拟信息定位到现实世界中，并允许用户与组合的虚拟/真实对象进行交互。

AR、VR和MR是相辅相成的关系，随着5G的到来和硬件上的升级更新，>AR 、 VR和MR会获得更进一步的升级，但他们也依旧作为底层技术正在为XR的发展提供动力。

共有的技术

三者之间的形态各不相同，但同属于XR的范畴， 他们拥有共同的支撑技术：

眼动追踪（Eye Tracking）：指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。目前眼动追踪有多种方法，其中最常用的无创手段是通过视频拍摄设备来获取眼睛的位置。有创的手段包括在眼睛中埋置眼动测定线圈或者使用微电极描记眼动电图。

目前，在XR领域当中使用了最新眼动追踪技术的是微软于2019MWC上推出的Hololens 2。它搭载了眼动追踪技术，可以做到同时精确追踪用户的双眼，并判断具体的注视点位置。硬件也进行了优化，并没有出现因为搭载眼动追踪技术而导致增加重量，消耗处理能力和干扰到用户的视野的问题。

手势追踪（Hand Position Tracking）：是一种高分辨技术，用于知道用户手指的连续位置，从而以3D形式表示对象。该系统诞生于人机交互问题的基础上，专注于用户-数据交互方向，其目的是允许它们之间的通信以及手势和手部动作的使用更加直观。目前手势跟踪系统已体系成熟，这些系统实时跟踪每个标记的手指方向的3D和2D位置，并使用直观的手部动作和手势进行交互。

位置追踪（Positional tracking）：用于检测头戴式显示器、控制器、其他物体或身体部分在三维空间内的精确位置。位置跟踪传感器记录了由于识别旋转（俯仰、偏航和滚转）和记录平移运动而确定的位置。

因为VR是虚拟的、改变现实的模拟环境，所以必须能够准确地跟踪物体（如头或手）在现实生活中的移动，以便在虚拟现实中表现它们。在空间中确定真实物体的位置和方向，是通过特殊的传感器或标记来确定的。传感器记录真实物体移动或移动时发出的信号，并将接收到的信息传送给计算机。

实时计算机图形渲染（Real Time Render）：应用于交互式媒体的实时渲染显示，速率为大约每秒20到120帧。在实时渲染中，目标是在一秒钟内尽可能多地显示眼睛可以处理的信息。

主要目标是以可接受的最低渲染速度达到尽可能高的照片真实感，呈现的最终图像不一定是现实世界的图像，而是足以让人眼容忍的图像。可以模拟镜头光斑、景深或运动模糊等由相机和人眼的光学特性产生的视觉现象的行为，这些效果可以为场景提供逼真的元素。这是游戏、交互式世界和 VRML 中使用的基本方法。

特有技术

在拥有共同基础技术的情况下，也存在其独有的技术，使该技术区别于其他：

AR光学设计：光学物理下的衍生学科，属于计算机视觉学科的一部分。其关注的目标在于充分理解电磁波（主要是可见光与红外线部分）遇到物体表面被反射所形成的图像，而这一过程便是基于光学物理和固态物理，来解析影像所表示的真实世界。

光学设计就是根据一个给定的输入和一个要求的输出，利用物、像基本概念等光学原理和相关学科知识，设计产出一套光学系统。AR的光学模组是由光学设计学科应用下的产物，相当于如今智能手机的显示屏一样的存在。虚拟显示是目前AR系统的一大难题，就是因为目前大多的AR眼镜所采用的光学模组还无法达到虚拟与现实真正融合、虚实不分的理想效果。

VR-六自由度（Six Degrees of Freedom）：可以给予用户在前后、上下、左右三个互相垂直的坐标轴上平移视角，也可以在三个垂直轴上旋转其方向，三种旋转方向称为俯仰（pitch）、偏摆（yawl）及翻滚（Roll）。

头部不仅可以通过转动获得有运动视差的图像，更是可以前后左右移动，甚至把头探入三维虚拟物体中，看它里面有什么。六自由度对在虚拟世界中创建真实感受有着重大帮助。

VR-体积捕捉（Volumetric Capture）：体积捕捉技术的目的不仅仅是捕捉一个圆形视角，而是捕捉整个场景（或至少是其中的一部分），这样观众就可以在捕捉过程中通过3D空间移动头部，并从不同的角度观看场景。体积捕捉技术为内容添加了新的深度，它将广泛的应用一下科技时代的应用当中，例如VR电影或者全息图等方向。

三、泛现实技术的应用领域

1. 娱乐

1962年第一台VR设备“Sensorama Simulator”诞生，它可以提供驾驶摩托车的虚拟体验，包括真实的运动、声音、气味和气流。自那之后，XR技术已经通过不断地迭代发展到了更高的高度。它在迪斯尼乐园等各种主题公园和其他儿童娱乐公园中提供给客户一个虚拟环境的体验，例如乘坐过山车、飞行模拟等。

在最新一阶段的技术研发中，迪士尼的“AR 长凳”已经可以展现出一个更加真实有趣的体验。它可以让观众不借助 AR 头盔就可以在和银幕中动漫人物产生一系列的互动。作为XR在娱乐上应用良好的案例，也能由此瞥见下一个科技世代的娱乐形态的样子。

迪士尼“AR”长凳

2. 医疗

XR将对医疗做出重大和多样的改变。例如，与MRI或X射线相结合系统并将所有内容整合到一个视图中，方便医生查阅信息；外科医生使用全息图来为手术做准备或者支持手术，通过XR技术的支持，方便的实现跨地区、跨国家的医疗会诊。

XR也为医学教育开辟了新的途径，因为它能够在医学生面前投射完整的人体。器官，骨骼，血管，所有的东西都将在3D 中被精确地看到，在未来，医学专业人员可以比读书时更准确地记住每一部分的特征。

想象一下，学生们也不会从尸体那里学习解剖学，他们将从XR环境中学习解剖学，医科学生使用该技术在受控环境中进行模拟手术练习。

目前，已经有专门的XR公司在着手于医疗领域的研究。来自德国汉堡的apoQlar公司就是其中一个，他们专攻医疗成像技术（MR和AR）和数据评估，与研究机构，诊所，医院和医生密切合作，基于微软Hololens平台开发出了虚拟手术智能系统（VSI）。

这套系统用于手术中辅助医生进行一系列手术操作（例如：将患者的血压、心跳、CT或核磁共振结果直接显示在医生的视线内），以及手术前和手术后与病患更方便直白的进行沟通。

3. 交通

XR在车辆中的应用主要集中于增强现实抬头显示（AR-HUD）。为了提高驾驶安全和减少驾驶工作量，所提供的信息应该以一种更容易理解和减少认知负荷的方式来表示。它可以促进车辆和驾驶员之间的一种新的对话形式：通过在驾驶者视角中添加周围一系列的相关交通信息，使驾驶者保持对道路上的专注。

XR结合前挡风玻璃提供的产品的受惠者不仅只有驾驶者，也可以影响到行人以及特殊车辆。事实上，车辆中的交互式前挡风玻璃作为显示器提供了一个设计空间，它可以为驾驶者、乘客和行人创建一套交通生态系统。

• 对内，可以提供驾驶辅助信息，减少分散驾驶者的注意力；
• 对外，可以向行人展示一些信息内容，甚至可以从最基础的交通信息延伸到娱乐、广告等方面。还可以帮助构建用于特定领域的应用程序，如消防车、警察车、救护车等一些特殊车辆。

现代-全息AR导航仪表

在2019CES展上，现代结合Wayray发布了最新的用于车辆的全息AR显示技术。该技术可根据车辆的行驶速度精准的显示运动方向，并通过安装在仪表板上的显示器将导航的指示箭头投射到道路上，让驾驶者的注意力不容易被干扰；还结合了安全辅助系统，如车道偏离和前方碰撞警告等。

4. 教育

XR技术在教育方面有着巨大的潜力。它能够有效地传递大量信息，因为它利用了用户的自然空间感知能力，可以通过游戏、互动会议、基于人工智能的互动系统等方式娱乐和教育人们。对于一些特殊学科，甚至可以大幅降低学习成本。未来，学生甚至可以参加与计算机生成的模拟交互式历史事件，探索和学习细节事件现场的每个重要区域。

5. 物流

DHL在2015年第一次尝试将AR设备加入到物流供应链。他们在第一次尝试中，使用了一些AR设备硬件，以及 Vuzix 的 M100 和 M300 智能眼镜。在美国，亚洲和澳大利亚的试验中使用Ubimax的xPick软件，将登机和培训时间减少一半，单位拣选生产率平均提高10％至25％。

DHL- AR应用

基于这一成功，DHL于2017年8月宣布将AR智能眼镜的使用范围扩展到全球各地的仓库，该技术与射频扫描仪，蓝牙可穿戴指环和分拣机器人一起使用。展望不久的将来，视觉识别技术可以让XR眼镜在物流领域得到进一步优化。此外，>除了物流分拣，DHL 也正在探索使用 AR 智能眼镜进行员工培训。

四、泛现实产品的发展趋势

在市场分析机构IDC的《全球半年度增强现实和虚拟现实市场规模指南》中指出，预计2019年全球增强现实和虚拟现实 （AR/VR）的支出将接近204亿美元，同比增长68.2%。

IDC预计：在预测期间（2017-2022），消费者市场和企业/商业市场的五年复合年增长率将达到70.7%。在2017-2022年的预测期间，全球在 AR/VR 产品和服务上的支出将继续强劲增长，实现69.6%的五年复合年增长率。

发表在“泰晤士报”上的XR for Business特别报道中，也从多角度分析阐述了XR对商业和工业上造成什么样的影响。

市场发展现状

泰晤士报刊登的XR for Business相关数据

发展的瓶颈

在博钦的2018年AR/VR调查报告中指出，用户体验是AR和VR大规模使用上最大的障碍，大部分原因是由于硬件和内容上都存在着技术障碍导致的。成本则是第二大障碍，在2018年， HTC 和 Oculus 等虚拟现实厂商都相继宣布了降价举措。

2018 博钦事务所 AR/VR调查报告

五、泛现实类产品的用户体验设计

XR能使复杂数据能够与真实世界交互，所以它使我们能够吸收比以往更多的信息，对于影响用户的决策有很大的潜力。体验设计师应该从承载内容和内容沉浸感的角度出发，将思考维度的方向从二维平面中跳脱到三维空间当中，这也意味着需要关注的设计维度变得更多更广泛。

以下是根据实际经验以及行业内的各种意见，整理出了以下需要关注的8个体验维度：

1. 视觉焦点

AR界面里的光标实际上是在模拟用户眼睛所看到的焦点，Hololens里将其定义为“Gaze targeting“，明确定义了AR设计里的所有交互都需要建立在用户能够获取其目标物的能力上，指出系统需要尽量去理解用户的关注焦点。

所以，眼球追踪器可以是一个强大的工具，它能给我们一个高度精确的表现和理解一个人的眼球运动行为。位置、持续时间和移动的三个属性构成了这种理解的基础。

2. 动态光阴

光线上的恰当使用会让用户更加沉浸，但若是使用的不恰当，则会导致用户瞬间从沉浸式环境抽离。增加恰当的光线可以带给物体体积感，增加重量，让其更加真实。

有研究指出：在虚拟场景中使用动态移动的阴影，要比使用静态阴影或者没有阴影能引发更强的临境感。谷歌的Material Design中，通过光线引入了阴影，让设计语言更贴近自然和人们的生活。

3. 空间层次

很多事情会影响界面的可读性，例如字体的大小、对比度、间距等等，在XR中会增加另外一个因素：深度。

深度不仅可以展现出视觉的层次和重要性，还能展现虚拟物体在真实空间中的方位，例如：可以参考绘画中的近大远小的概念，越大的物体视觉上给人距离更近的感觉，反之越小则越远。

因此将深度融入到虚拟界面中，将平面的二维界面转化为能创建视觉层次、更丰富、更有效呈现信息和概念的界面。

微软的Fluent Design System设计规范中推荐界面的显示区域介于1.25米和5米之间，两米是最理想的显示距离。

4. 手势交互

现阶段的XR设备中，手势操作是主流的交互方式之一。手势是真实世界中自然动作，在设计XR设备的体验中有不可置疑的优势。在设计手势的时候需要考虑多个问题。例如：用户的操作的舒适范围；手指能轻松触及的范围；只使用一只手还是需要双手同时操作等一系列因为操作范围从平面变成了三维空间而产生的问题。

同时需要注意的是机器的视场角度和识别精度。因为动作一点超出机器的视场，它将无法被机器识别，从而无法做出反馈。识别精度会影响设备对此手势的判断是否准确无误，若存在容易混淆的情况，也要考虑手势的设计上需要区分相对明显等问题。

5. 语音交互

用户的语音命令由三个关键因素组成：意图、话语和词槽。

意图作为语音交互的目标，表示用户语音命令的更广泛目标，这可以是低效用请求，也可以是高效用请求。高效用请求是有关执行非常具体的任务，设计这些请求非常简单，因为用户的期望非常明确。低效用请求更加模糊，难以破译，需要向用户获取进一步信息才能执行请求。在设计这一种类的机制时，需要加入较人性化的错误反馈机制，以免用户的期望值降低。

话语反映了用户如何表达他们的请求，设计师需要考虑每一种话语的变化，这将有助于AI引擎识别请求并将其链接到正确的操作或响应。

有时单独的意图是不够的，还需要来自用户的更多信息以便满足请求。词槽就像传统的表单字段，因为它们可以是可选的或需要的，具体取决于完成请求所需的内容。

6. 声效反馈

声音对临境感有很大的影响，声音将帮助用户注意到视线以外的物体，并鼓励用户查看整个360度的空间。人们习惯于与平板电视互动，所以你需要真正鼓励你的用户环视整个环境。否则，一些精心准备的内容将会被忽视。

有研究表明：与没有特定方位的声音或没有声音相比，有特定方位的声音会增强用户的临境感；另外，在虚拟场景中与视觉信息同步的声音可以提高用户对自身动作的真实感，让体验变得更加真实。

7. 触觉反馈

触觉反馈对提升临境感的作用非常明显，尤其是触碰到物体时如果缺乏触感会让大脑感到困惑。一个触觉反馈系统的核心主要是两点：触碰检测（Collision Detection)）和反馈（力）计算（Feedback Computation）。在合适的时间和位置发出合适的反馈，是在XR设备中设计触觉反馈的要点。

8. 动态设计

动态设计对于XR的视觉和交互体验来说都是至关重要的一环。我们可以想象一下电影中的运动设计，运动的无缝过渡让你能够专注于故事，为你带来真实体验。可以将这些感觉融入设计，引导人们在观影过程中轻松从一个任务跳转到另一个任务。

六、总结展望

对于未来的技术展望中，Accenture提出了一个新的概念：DARQ Power。分布式账本系统（Distributed ledger）、人工智能（Artificial Intelligence）、泛现实技术（Extended Reality）、量子计算（Quantum Computing）这四门技术将会引领下一阶段变革，让企业重新构想整个行业趋势。

Accenture2019技术趋势发展

预想未来商业创新，核心技术的发展应用将是主要的驱动因素。MOMOUX十多年的发展历程，经历了不同技术变革背景下所演变的商业形态，作为体验设计行业的专业机构，我们如何更好的服务于以智能技术为主旋律的未来时代呢？设计并非凌驾于商业之上，去故作姿态包办各种商业问题。

沉思而论，设计作为一种解决问题的思维应该是要融入到商业活动过程，创造性的为商业的不同阶段发展以及与人的体验有关的问题出谋划策，是真正的站在行业沉淀的基础上从解决问题的角度出发。

以上是我们最近的总结心得，欢迎大家留言交流！

研究素材：

• en.wikipedia/
• zhihu/
• arvrjourney/
• tech.qq/
• researchgate/
• 36kr/p/5042081.html
• yivian/news/57580.html
• en.wikipedia/wiki/Computer_vision
• youtube/watch?v=40riCqvRoMs
• aniwaa
• raconteur/infographics/what-is-xr
• idc/getdoc.jsp?containerId=prUS44511118
• docs.microsoft/en-us/windows/mixed-reality/about-this-design-guidance

本文由 @MOMOUX 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议