用于演示业务解决方案的Microsoft HoloLens Spectator视图

用于演示业务解决方案的Microsoft HoloLens Spectator视图

最新技术变化

在滑铁卢大学接受教育的过去两年中，我在市场上看到了一些创新产品。Oculus Rift，虚拟现实耳机；神奇宝贝go，移动应用得到了Niantic和口袋妖怪公司; Google Cardboard，这是使用Android手机作为骨干网的Oculus Rift的替代产品；微软HoloLens参加了2017年1月在多伦多大学士嘉堡校区举办的黑客马拉松比赛。我还在多伦多的伊顿中心的微软零售店里看到了一些最新的耳机。
在那里，最近出现的一种新技术就是混合现实。

混合现实

根据Microsoft Windows开发中心的文档，“混合现实是将物理世界与数字世界融合在一起的结果。” 本质上，这是一种现象，即我们在周围看到的真实环境之上，同时看到使用3D计算机模型等的数字环境。最初的术语来自1994年由日本京都的两名研究人员Paul Milgram和Kumino Fumio撰写的研究论文。
混合现实本身就是一个spectrum。市场上存在着多种设备和应用程序，随着客户的使用，物理现实会发生变化。例如Snapchat过滤器，Rift和其他VR耳机，HoloLens，Acer Windows Mixed Reality Development Edition和手机。

IBM Canada在商业世界中遇到的问题

我在马卡姆山的IBM Canada的工作是使用Microsoft的技术为客户解决问题。我被聘为Unity AR HoloLens开发人员。我的任务是在Windows Mixed Reality（使用Windows相关技术创建混合现实体验的平台）下使用工具和库演示业务级解决方案。IBM Canada在马卡姆山也有一个软件公司。在这里，企业可以从市场，客户或企业的角度咨询我们，以提出可行的解决方案来解决问题。
由于公司中的混合现实技术实践是以启动为导向的，所以问题在于如何通过两副HoloLens耳机向各种业务主管和会议合作伙伴演示混合现实的使用。这将为他们展示一张图片，以帮助他们确定其业务需求可能符合的关键要素，并在其中考虑使用混合现实作为解决方案。

Microsoft HoloLens及其功能

首先，全息图是您使用光在世界上看到的3D模型。Microsoft HoloLens是头戴式耳机，您可以在其中进行交互。这是世界上第一台独立的全息计算机。
使用HoloLens的重要性在于能够创建和运用体验的能力，无论是对于游戏，动画电影，还是对于IBM而言，都是商业解决方案。这些全息图可以用作现实世界中实际工作的一部分。HoloLens提供了三种交互方法来使混合现实体验变得自然：凝视，手势和语音识别。这使拥有HoloLens的各种人能够向可能依赖混合现实来解决问题以有效服务客户或增强运营的不同企业展示实用的解决方案。
正面遮阳板内部是一对透明的全息镜头。 HoloLens使用四台摄像机了解物理环境，一台摄像机可以提供深度，而一台摄像机可以让用户拍摄照片和视频。HoloLens具有四个用于语音识别的麦克风。电源按钮和HoloLens左后侧的五个白色LED指示灯使用户可以打开和关闭它并监视其状态。设备左侧的两个按钮控制全息显示器的亮度，右侧的两个按钮控制头带两侧的两个空间扬声器的音量。
Microsoft HoloLens的一个使用案例是在多个耳机之间共享全息图，这称为共享体验。在这里，与其使用HoloLens头戴式耳机查看自己的全息图，不如说他们在两者之间共享全息图，并且让多个观察者以不同的视角环顾四周。[6]由于HoloLens具有摄像机，它也可以捕获用户通过这些全息图看到的实时信息。这允许发生业务场景，例如销售代表将汽车的型号和颜色更改为潜在的汽车购买者，从观察者的角度来看，他们可以看到其真实尺寸的全息复制品。

开发HoloLens应用程序使用的技术

Microsoft HoloLens的应用程序是使用Unity创建的，Unity是带有自定义C＃脚本的3D游戏引擎。Visual Studio用于编写脚本并将生成的应用专门部署到HoloLens。 HoloLens使用的平台称为通用Windows平台，类似于Java的运行时环境的抽象层。还使用Windows 10 SDK，特别是Windows 10 Fall Creators Update ，以使Unity可以将应用程序构建到UWP上的Visual Studio解决方案中，然后在HoloLens上构建和部署该应用程序。
为了启用HoloLens在应用程序中提供的功能，Unity Engine API具有专门为混合现实设备制作的库。它还具有可以附加到各种游戏对象上的组件，以实现诸如联网的功能，这是建立共享全息图体验的要求。
内容

向企业展示混合现实所能提供的约束

由于IBM Canada希望在商务会议中展示HoloLens的功能以使客户考虑在其业务问题中使用这些功能，因此需要满足一些限制。

1. 在整个演示过程中，这种全息体验必须对观众可见。

2. 带有全息图的演示图像必须稳定。

3. 至少需要两副HoloLens头戴式耳机，并具有共享的经验，可以在它们之间共享全息图，以进行团队协作等。

4. 必须从观察者HoloLens中看到多个HoloLens用户可以使用的协作。

5. 会议期间的视频和照片录像，必须由其他人在实际计算机上完成，供带有全息图的企业使用。

6. 由于在尝试渲染屏幕上所需的图像时会产生一些延迟，因此实时Feed中的延迟应尽可能短。

因此，有两种选择：混合现实捕获或旁观者视图。
这两种技术具有不同的设置，但是共同的要求是通过Internet或通过路由器或移动热点的局域网连接来建立网络，并使用能在多个头戴式耳机之间共享全息图的软件。

混合现实捕获

混合现实捕获是一种从佩戴HoloLens的人的角度记录和保存照片和视频的方法，他们正在运行显示全息图的应用程序。用户可以选择在佩戴HoloLens时直接拍摄照片和视频，但是同时使用应用程序时，捕获混合现实的唯一方法是使用Windows设备门户。其他人应该从Windows设备门户网站捕获素材，以使佩戴HoloLens的人可以控制。
这是该问题的可能解决方案。使用HoloLens的人和其他人通过Windows Device Portal控制实时提要的情况下，可以继续进行涉及共享经验的演示。演讲者对演示进行了叙述，并通过屏幕将实时供稿投影到会议的观众。

旁观者

Spectator View是一种设置，观众可以在其中观看HoloLens用户所处的混合现实环境中发生的事情。它们包括四个部分：

1. 启用了共享体验的应用程序，以及共享全息图和Spectator View Manager对象的软件代码。
2. 一个Spectator
   View装备，包括一个三脚架，一个照片/摄像机，一个实际的HoloLens，安装在与摄像机顶部相连的3D打印适配器上，以及一个连接接口，例如带有HDMI输入端口的捕获卡。
3. 至少有一个穿着HoloLens的用户正在运行共享体验应用程序。
4. 台式机或便携式计算机，其中包含Unity编辑器（正在运行相同的应用程序）以及将两个视觉层组合成一个流视频的界面：相机的实时视频源和HoloLens的全息图。

这也是该问题的可能解决方案。现场演示的设置与混合现实捕获类似，不同之处在于其中涉及到摄像头装备。但是，其他人会从设备中捕获素材，以将其投影到屏幕上，让会议的观众看到混合现实环境。

混合现实捕捉的优点/缺点

混合现实捕获带来一些优势：

1. 您可以看到用户在做什么，因为您看到的是第一人称视角。通过注视，手势和声音，您可以看到弹出在前面的用户界面中发生的情况。这使业务人员可以查看用户将如何与将要使用的应用程序进行交互。
2. 可以捕获从用户端发生的事情的照片和视频，以便从咨询的角度进行更多的用户场景分析。
3. 无需相机设置。您只需要提供库和组件即可在多个HoloLens头戴式耳机之间共享全息图。

此选项有一些缺点，

1. 第一个是专业观点：
   可以在此处提供的实时视频源非常不稳定，因为人的头无法保持静止。有时注视动作不是很流畅。
2. 您看不到完整的活动用户。由于无法完全看到活动的用户，因此很难评估会议本身可以向观众展示的不同用户场景以及客户的后续行动。
3. 在启用应用程序本身以解决业务问题的最重要阶段，即在Unity编辑器中编码和绘制全息图的最重要阶段，观众可能看到的界面（启用了混合现实捕获）并不实用。

旁观者优势/劣势

旁观者本身具有一些优点：

1. 只要Spectator View装备静止不动，合成的视频源就完全稳定。这是会议演示的理想选择，在会议中，商务人士希望看到稳定的视频源。
2. 您可以同时在视频供稿中看到两个或多个用户，并在操作共享的全息图。这对于商务人员而言非常理想，可以看到协作的场景将用来评估团队合作，关系，解决问题等方面的结果。
3. 您可以从第三人称视角拍摄照片和视频，非常适合拍摄照片和视频。这些非常适合于以后向业务人员显示在此用户方案中发生的情况，等等，以制定未来的业务决策。
4. 实时供稿来自Unity编辑器，商业家可以在其中查看它，并在技术人员设置演示时查看HoloLens的混合现实应用程序是如何制作的。

旁观者视图仍然具有一些缺点：

1. 对于两个想要加入全息场景以展示协作性的人，等等，您需要三副HoloLens耳机。这增加了购买HoloLens耳机的成本。
2. 需要3D打印才能创建Spectator View HoloLens安装到摄像机顶部的转接板。
3. 您看不到用户在做什么，尤其是当他们正在做商务人员需要查看以了解更多有关与全息图交互的手势时。
4. 需要更多的软件设置，包括构建和部署Microsoft的GitHub存储库之一中可用的Unity Compositor接口。
5. 设置Spectator View的文档不完整；开发人员必须使用Unity
   API中的各种组件来设置自己的网络组件。这些包括网络管理器，带有锚点的网络发现，网络标识，等等。

工程决策与解释

对于具有专业外观的外观，并使会议的观众清楚而稳定地了解通过HoloLens可以带来的混合现实，决定将哪种解决方案用于商务会议的决定应由“观看者视图”决定。
尽管设置过程更加耗费人力，并且业务人员实际上对用户的操作了解得不多，但Spectator View使他们能够从整体上了解混合现实的功能。如果将混合现实视为一种业务解决方案，则商务人士可以请求在整个事件中录制视频和照片，以供将来的商务会议参考和召集。

结论

使用解决方案的短期影响

就设备和对组合在一起的不同软件模块进行编程所需的人工而言，Spectator View的价格更为昂贵。这会带来财务风险，但是由于这是IBM Corporation培育的一种方法，因此，对整个IBM不会产生太大影响。
但是，在Unity中构建所需的接口并配置要添加到游戏对象中的组件是一个费力的过程，因为在撰写此报告时，有关Spectator View设置的文档编写得很差。需要一些时间在各个地方提出问题，包括堆栈溢出，Windows Mixed Reality开发人员论坛，Unity论坛等。因此，启用和部署Spectator View可能需要花费数周或数月才能正确设置，尤其是从实习生的角度来看。
因此，总体的短期影响是负面的。

使用解决方案的长期影响

一旦Spectator View部署并按预期工作，从长远来看，客户应该有机会与IBM Canada协商使用Windows Mixed Reality（包括HoloLens）来解决业务问题。向公司提供有关混合现实环境的稳定视图，以及与用户一起在混合现实环境中发生的情况的视图，应该说服客户研究HoloLens为实现业务级场景而采用的某些技术和功能。
以下是一些业务级别方案：
机械工程师可以实时查看和微调汽车和公共汽车的实物大小模型，并进行各种测试，例如热交换，污染等。
房主可以参观一间空房间，并计划将要放置所有家具和电器的大致布局，以及它们的清单。
土木工程师和承包商可以使用HoloLens对购物中心的布局进行规划和可视化，无论是建造新购物中心还是修改现有购物中心。
基于此，Spectator View应该让多个客户将混合现实作为解决其业务问题的新工具，无论是在内部，在合作公司之间还是在外部与客户。

解决问题的潜在变化

解决该问题的一种可能的折衷方法是，使用一个或多个HoloLens头戴式耳机，将其中一个指定为观众HoloLens（类似于Spectator View装备），启用与这三者的共享体验，然后在该观众HoloLens上使用Windows Device Portal。商务人员不会看到他们希望看到的Unity接口来学习开发过程，但是它提供了具有混合现实的用户场景的图片。
否则，将来可能会有更简单的解决方案。例如，“观众视图”装备不需要注视，手势识别和语音识别。Microsoft可能会制造一个附件来跟踪全息图和混合现实环境的位置，并删除不必要的功能，从而降低成本。
此外，为了更好的设置和处理，观众视图的文档可能会更新。
最后，可以录制演示并在会议聚会中回放，而不是现场演示。尽管它仍然可以让商务人员看到混合现实，而无需团队将HoloLens头戴式耳机和其他设备移交给其他人，但是它并不能让商务人士自己尝试一下功能。但是，根据他们的企业文化和目标，有时没有必要。
总之，从业务角度来看，使用Spectator View解决Microsoft HoloLens提供的混合现实功能的问题是最实际的。

参考文献（IEEE格式）

[1] B. Bray and M. Zeller, “What is mixed reality? — Mixed Reality”, Windows Dev Center, 2018. [Online]. Available: https://docs.microsoft.com/en-us/windows/mixed-reality/mixed-reality. [Accessed: 30- Apr- 2018].
[2] P. Milgram and F. Kishino, “A Taxonomy Of Mixed Reality Visual Display”, Ergonomics in Teleoperation and Control Laboratory, 1995. [Online]. Available: http://etclab.mie.utoronto.ca/people/paul_dir/IEICE94/ieice.html. [Accessed: 30- Apr- 2018]
[3] “Microsoft HoloLens”, Microsoft. [Online]. Available: https://www.microsoft.com/en-us/hololens. [Accessed: 01- May- 2018].
[4] “Why HoloLens”, Microsoft. [Online]. Available: https://www.microsoft.com/en-us/hololens/why-hololens#. [Accessed: 01- May- 2018].
[5] M. Zeller and B. Bray, “HoloLens hardware details”, Windows Dev Center, 2018. [Online]. Available: https://docs.microsoft.com/en-us/windows/mixed-reality/hololens-hardware-details. [Accessed: 01- May- 2018].
[6] A. Turner, M. Zeller, E. Cowley and B. Bray, “Shared experiences in mixed reality”, Windows Dev Center, 2018. [Online]. Available: https://docs.microsoft.com/en-us/windows/mixed-reality/shared-experiences-in-mixed-reality. [Accessed: 01- May- 2018].
[7] M. Zeller, C. White, C. Darwin and B. Bray, “Install the tools”, Windows Dev Center, 2018. [Online]. Available: https://docs.microsoft.com/en-us/windows/mixed-reality/install-the-tools. [Accessed: 01- May- 2018].
[8] “Unity — Manual: XR”, Unity Documentation. [Online]. Available: https://docs.unity3d.com/Manual/XR.html. [Accessed: 01- May- 2018].
[9] “Unity — Manual: Multiplayer Overview”, Unity Documentation. [Online]. Available: https://docs.unity3d.com/Manual/UNetOverview.html. [Accessed: 01- May- 2018].
[10] W. Guyman, M. Zeller, E. Cowley and B. Bray, “Mixed reality capture”, Windows Dev Center, 2018. [Online]. Available: https://docs.microsoft.com/en-us/windows/mixed-reality/mixed-reality-capture. [Accessed: 02- May- 2018].
[11] fieldsJacksonG, M. Zeller, K. Baker and B. Bray, “Spectator view”, Windows Dev Center, 2018. [Online]. Available: https://docs.microsoft.com/en-us/windows/mixed-reality/spectator-view. [Accessed: 02- May- 2018].
[12] “Discussion between user9236834 and Dtb49 | chat.stackoverflow.com”, Chat.stackoverflow.com, 2018. [Online]. Available: https://chat.stackoverflow.com/rooms/169253/discussion-between-user9236834-and-dtb49. [Accessed: 03- May- 2018].

注意

本报告供学术和商业使用，因为它是由滑铁卢大学的一名学生Gregory Desrosiers于2018年编写的，他与位于安大略省马克姆的IBM加拿大有限公司签订了补充雇员合同。这种特殊的使用是滑铁卢大学与加拿大政府1985年通过的《版权法》有关的公平交易咨询，以及IBM的版权和商标。在法律范围内，本文遵循1985年《加拿大版权法》中的公平处理原则和1976年美国《版权法》中的公平使用原则。然而，关于制作本报告所使用的原始内容，在加拿大和美国基于政府法案的法律范围内，版权仍由其各自的所有者持有，包括《数字千年版权法》和《加拿大版权法》。