【Rift 高级应用】混合现实捕捉设置指南

By 一克 at 2018-05-23 • 0人收藏 • 201人看过

混合现实捕捉功能可将现实世界对象放入 VR 中。换而言之,它将 来自现实世界的图像与虚拟世界的图像混合。

Oculus 混合现实捕捉功能旨在帮助开发者、营销人员和影响者 与观看者分享深入的 VR 体验。通过让自己和他人置身于 VR 场景中,您可以更有效地展示用户和虚拟世界 之间的互动。



(图片来自 Oculus Medium 和艺术家 Dominic Qwek — https://www.oculus.com/medium/

注意: 混合现实捕捉功能仅面向选定 Rift 应用程序提供。

如何实现混合现实捕捉?

混合现实捕捉功能使用外部摄像头针对绿屏捕捉现实世界 图像,然后将这些图像与 VR 应用程序生成的场景组合, 用于创建单一混合场景。用户随后可与该 VR 场景互动,并可创建 展示用户在现实世界中的互动与 VR 体验叠加 的视频

前期准备

在执行任何校准、配置或实施操作前,您需要拥有满足 混合现实捕捉的性能要求的电脑和摄像头。查看 系统配置页面,获取支持 其他性能要求的电脑的列表。这些硬件不是使用混合现实捕捉 的必需硬件。

同样,虚拟间和传感器设置页面包含 可与混合现实捕捉功能配合使用的虚拟间和传感器设置信息。 这些配置不是必需配置,但可用作针对混合现实捕捉功能设置虚拟间 时的指南。

请查看位于以下位置的健康与安全警告中包含的打造安全使用环境 指南:https://www.oculus.com/legal/health-and-safety-warnings/

新手入门

捕捉混合现实捕捉场景分为两个步骤。设置 外部摄像头和 VR 对象,然后合成最终场景。

设置

首先,您需要决定是使用静态摄像头还是动态摄像头捕捉 场景。静态摄像头仅可为您在场景中提供固定视野, 而与 VR 对象关联的动态摄像头 则可让您在场景内四处移动摄像头。

如果使用动态摄像头,您需要从创建 VR 对象开始。此对象( Touch 控制器)会追踪摄像头相对 VR 场景的位置。 有关如何创建 VR 对象的信息,请参阅 VR 对象设置。如果您计划使用静态摄像头,则可跳过 此步骤。

下一步是校准外部摄像头,捕捉现实世界图像。 校准流程可消除图像失真并确定场景中捕捉到的 对象的深度和位置。有关如何校准摄像头的信息, 请参阅摄像头校准页面。

合成

完成设置和配置后,您可以启动支持 混合现实捕捉功能的应用并一起合成最终场景。请查看启动应用和合成场景页面,获取关于此流程的 信息。


非 Oculus 设备/服务参考文档不构成对产品或性能 的建议、保证或支持。您获得的效果可能有所不同。相反,选项 会根据您自己的自定义体验而有所不同。此外,错误 安装或使用任何产品或商品都可能损坏您的电脑、空间或 影响性能。如果您没有相关经验或相关资格, 请寻求帮助。

  • 系统配置
    成功的混合现实捕捉对系统性能的要求高于常规 VR 对系统性能的要求。本页面包含针对混合现实捕捉的电脑性能 和系统配置建议。

  • 虚拟间和传感器设置
    混合现实从外部摄像头捕捉图像,您可以将捕捉的图像纳入 所使用的虚拟应用中。本指南介绍 Oculus 在开发混合现实时使用的 一些虚拟间配置;您的使用和实施情况可能会 有所不同。

  • VR 对象设置
    混合现实捕捉功能使用 VR 对象追踪动态摄像头的位置。 本页面介绍设置 VR 对象的流程。如果您计划使用 不会在场景中四处移动的静态摄像头,则可跳过此步骤。

  • 摄像头校准
    使用提供的 CameraTool 针对混合现实捕捉功能校准外部 摄像头。

  • 启动应用和合成场景
    本页面介绍启动应用以及渲染最终混合 现实捕捉场景的流程。


5 个回复 | 最后更新于 2018-05-23
2018-05-23   #1

系统配置

成功的混合现实捕捉对系统性能的要求高于常规 VR 对系统性能的要求。本页面包含针对混合现实捕捉的电脑性能 和系统配置建议。

一般性能建议

我们不保证所有系统或组件集能够与混合现实捕捉功能 配合使用。但是,使用具有高性能主板以及 至少 16GB RAM、SSD 存储空间和 GTX 1080 或更高版本的系统有助于 实现成功的混合现实捕捉。

系统配置

为了提供混合现实捕捉所需的带宽,我们建议将传感器 插入不同的 USB 位置。例如,支持 Oculus 的 Falcon Northwest Tiki (2017) - ASUS ROG STRIX Z270-I 系统可作如下 配置。

  • ASMedia 2142 USB 3.1 背部端口中 1 个传感器。

  • Intel USB 2.0 背部端口中 1 个传感器和 1 个摄像头。

  • Intel USB 3.0 背部端口中 1 个传感器和 1 个 HMD。

  • 根据情况在 2 个 Intel USB 3.0 端口中插入鼠标/键盘。

请注意,与 HMD 和外部摄像头一样,传感器也插入不同的 USB 端口。

USB 扩展卡

上述一般规律的一个例外情况是,如果计划使用 USB 扩展卡, 例如具有 4 个专用 5Gbps 通道的 Startech Renesas 4 端口 PCI Express (PCIe) SuperSpeed USB 3.0 卡适配器。使用混合现实捕捉功能时,全部三个传感器以及 HMD 都可插入此卡。

兼容的摄像头

摄像头校准页面介绍的摄像头校准工具可支持任何 USB 摄像头。但是,使用具有较高清晰度 和性能的摄像头可获得较高质量的混合现实捕捉 场景。如果使用 HDMI 转 USB 适配器将 HDMI 摄像头连接到电脑,并插入 如上所述的其中一个 USB 端口,则此类摄像头可受支持。

以下摄像头经验证可用于实现混合现实捕捉功能:

  • Microsoft LifeCam Cinema

  • Logitech BRIO

  • ZED 摄像头

ZED 摄像头支持

如果计划将 ZED 立体摄像头用于混合现实捕捉功能,请查看 Stereo Labs 提供的新手入门文档, 了解如何安装所需的软件。


2018-05-23   #2

虚拟间和传感器设置

混合现实从外部摄像头捕捉图像,您可以将捕捉的图像纳入 所使用的虚拟应用中。本指南介绍 Oculus 在开发混合现实时使用的 一些虚拟间配置;您的使用和实施情况可能会 有所不同。

绿屏设置

注意: Oculus 不支持 4 个传感器配置。但是,如果与系统配置页面列出的 4 USB 扩展卡配合使用,4 个传感器配置可提供 高性能的混合现实追踪。

介绍可使用的材料以及如何构建绿屏的指南已经 在线提供。

传感器配置

您可从以下传感器设置开始配置。最佳 传感器设置可能因虚拟间配置和所使用的应用而有所不同。 设置传感器时,切勿遮挡传感器。 遮挡可能导致失去追踪。

3 个传感器配置

使用 3 个传感器配置时,您需要确保任何时候都 不会遮挡超过 1 个传感器。以下是 3 个传感器配置 的示例。

配置一:

配置二:

4 个传感器配置

4 个传感器配置已被证实对于混合现实捕捉而言是可靠的 配置。以下是 4 个传感器配置的示例。


2018-05-23   #3

VR 对象设置

混合现实捕捉功能使用 VR 对象追踪动态摄像头的位置。 本页面介绍设置 VR 对象的流程。如果您计划使用 不会在场景中四处移动的静态摄像头,则可跳过此步骤。

VR 对象是指具有更新的固件的 Touch 控制器。您可以使用其中一个 与 HMD 配对的现有 Touch 控制器作为 VR 对象。但是,如果要 重新将该控制器用作常规 Touch 控制器,则需要将它 与 HMD 重新配对。我们推荐使用可永久充当 VR 对象的 第三个 Touch 控制器。

注意: 早期、试验生产的 Touch 控制器(版本 C06x 及更早版本)不可用作 VR 对象。检查电池盒内的序列号,识别 这些控制器。这些 Touch 控制器具有以下序列号: “WMTCL1xxxxxxx”和“WMTCR1xxxxxxx”分别对应于左 Touch 控制器和右 Touch 控制器。

要创建 VR 对象,您需要更新设备固件。

  1. 启动 Oculus 桌面应用程序,打开设置菜单,然后选择 “设备”选项卡。然后从下拉菜单中选择 VR 对象配对 (高级)



  2. 在第一个屏幕上,确定是将使用的左控制器还是右控制器作为 VR 对象。

  3. 按照屏幕提示将控制器作为 VR 对象配对。此流程 会更新设备固件。

如果 HMD上的近距离控制器被盖住,VR 对象会在 24 小时内保持 活动状态。否则,VR 对象会在 30 秒后进入待机模式。任何 按钮按压或移动操作都会让 VR 对象回到活动模式。

要将 Touch 控制器与原始 HMD 重新配对(如果未使用第三个 Touch 控制器)。

  1. 在选择 VR 对象配对选项的同一下拉菜单中,选择 Touch 配对

  2. 按照屏幕提示配对控制器。

安装 VR 对象

创建 VR 对象后,您 需要将 Touch 控制连接加到外部摄像头。您可使用多种方法执行此操作, 我们建议使用混合现实捕捉安装配件 指南中提供的支架。下载内容包含两个可用于 3D 打印支撑 Touch 控制器 的摄像头支架的 CAD 文件,一个文件用于左 Touch 控制器, 另一个文件用于右 Touch 控制器。支架设计为与网络摄像头和小型 DSLR 配合使用。 较大的摄像头可能不适合安装到支架。

打印支架

首先, 在 3D 打印机上打印控制器支架。为了获得最佳效果,请使用 Polyjet 或 SLS 打印方法以最高质量设置打印支架。我们发现 ABS 或同等打印材料也适用于此支架设计。

支架 配置和组装

打印支架后,您可连接 摄像头、VR 对象和三脚架(或稳定的摄像头支架)。

  1. 使用 3/4 英寸螺钉或内六角螺钉将支架附加到三脚架上。可使用 螺母或蝶形螺母固定支架,从而获得稳定的连接。

  2. 使用 1/2 英寸螺钉或内六角螺钉以及垫片将摄像头附加到 支架上。如果未使用垫片,则可能需要使用较短的螺钉,具体取决于 使用的摄像头。

  3. (可选)您可能需要使用小型扎线带将 VR 对象固定到 支架。VR 对象和摄像头之间的关系变化可能需要 重新校准摄像头。

  4. 下图展示使用小型 DSLR 的完整支架。


2018-05-23   #4

摄像头校准

使用提供的 CameraTool 针对混合现实捕捉功能校准外部 摄像头。

本指南指导您完成捕捉摄像头信息 以及消除创建混合现实捕捉场景时存在的任何失真的步骤。借助 CameraTool,您能够在配置静态摄像头和 配置可以在场景中四处移动的动态摄像头之间选择。本指南假设您之前已经 完成 Rift 和 Touch 设置。为了获得最佳效果,我们建议您在 用于混合现实捕捉的配置中设置虚拟间。

前期准备

在启动摄像头校准流程前,请完成以下 步骤:

  1. 查看虚拟间和传感器设置页面提供的虚拟间和传感器设置信息。在摄像头校准流程期间, VR 对象(如果使用)应在至少 2 个传感器的视野范围内。以下示例 介绍校准摄像头期间如何配置 虚拟间:



  2. 查看系统配置页面提供的推荐配置。记录如何在 USB 端口中配置 传感器、摄像头和 HMD。如果计划使用 ZED 立体摄像头, 请记录其他要求。

  3. 打印随 CameraTool 提供的图片 (C:\Program Files\Oculus\Support\oculus-diagnostics\CameraCalibrationTool\Assets\pattern.png)。 请不要在打印期间裁剪或拉伸图片, 如果图片有所改动,CameraTool 无法正常工作。我们建议 将图案粘贴在硬纸板上,以便在校准流程期间使 图案保持扁平。如果正确检测,图案会在屏幕上改变 颜色。

  4. 使用贴纸或一段胶带盖住 HMD 中近距离传感器,您需要 在整个摄像头校准流程期间盖住 此传感器。近距离传感器位于 HMD 顶部的镜杯 之间。

校准外部摄像头

在此流程中,您将运行 CameraTool 并往多个方向移动打印的图片和 HMD,以便捕捉摄像头信息。

要针对混合现实捕捉功能配置摄像头,请执行以下步骤:

  1. 启动 CameraTool.exe (C:\Program Files\Oculus\Support\oculus-diagnostics\CameraCalibrationTool\)。选择 Calibrate Camera(校准摄像头) 。如果您计划将 动态摄像头与 VR 对象配合使用,请确保 VR 对象处于活动状态、在传感器的视野范围内, 并在启动工具时连接到外部摄像头。

  2. 从可用摄像头下拉列表中选择您的摄像头。

  3. 为摄像头配置输入名称。您稍后将使用该名称识别 此配置。

  4. 输入摄像头的分辨率。此信息可通过摄像头制造商 获取。

  5. (可选)调整摄像头图像设置。

  6. 选择提示,Start Intrinsic Calibration(启动内部校准) 。 将棋盘格打印输出与屏幕上的方框对齐,然后调整 图案与摄像头之间的距离,让图案适应屏幕上的 方框。CameraTool 识别出图案时,屏幕上的图片会显示 彩虹色。如果在提示位置保持图案不动,CameraTool 会自动捕捉所需的信息。 完成后,校准工具会使用这些图片消除所有摄像头 失真。您会收到指示配置质量的二次成像 错误值。小于 1 的值是可接受的,如果值大于 1,我们建议 重新运行校准流程。

    注意: 执行此步骤后,您可能会在 摄像头输出边缘的周围发现许多枕形失真,这是正常现象,也是 消除失真的结果。

  7. 选择追踪的对象(Touch 控制器或 VR 对象),或选择 使用静态摄像头。如果使用 VR 对象,您需要先完成 更新固件流程,然后再运行 CameraTool。

  8. 将 Rift 放在屏幕上显示的方框中。如果您尚未盖住 Rift 上的近距离传感器 ,那么您需要将其盖住。您需要 调整头戴设备与摄像头之间的距离,让 Rift 图片的大小 与屏幕上方框的大小一样。在这一步骤中,请务必将 Rift 的正面与屏幕上的矩形尽可能精确地 对齐。在屏幕上的方框中对齐 Rift 图片后, 按下 Touch 控制器上的 X 或 A 按钮。

  9. 最后,虚拟控制器会叠加在 Touch 控制器上, 展示校准的结果。如果想要,您可使用 CameraTool 中 提供的滑块调整配置。您需要确保控制器 在此步骤中完全静止。您可以调整摄像头延迟, 弥补因处理屏幕图片然后执行渲染 所需的时间。

完成校准后,您可将配置保存到系统 或文件中。如果选择保存到系统,则只要 Oculus 桌面应用仍在运行, 您就能够使用此校准。如果选择保存到文件,则您可在未来的任何时候 重新加载此配置。要重新加载某个配置,请启动 CameraTool 并 选择 Load Camera File(加载摄像头文件) 。完成保存文件操作后, 退出 CameraTool。

摄像头校准疑难解答

执行摄像头校准流程后,事情有时不会按预期发展。本 部分可帮助您解决在校准流程期间遇到的一些 常见问题。

  1. 我的摄像头延迟或晃动。

    1. 请检查是否在 USB 端口中配置了传感器和 外部摄像头。这些全都是高带宽设备并可能会让芯片 过载。请在 Windows 设备管理器中查看 设备的分布情况,并根据需要重新安排。

    2. 将 USB 3.0 摄像头与 USB 2.0 延长线或超过 3 米的 USB 3.0 延长线 配合使用可能会导致摄像头出现延迟。

    3. 最后,如果之前的两个步骤无法解决延迟问题, 请考虑使用系统配置页面列出的 USB 扩展卡。

  2. 我已经完成摄像头校准流程,但当我移动 VR 对象 和网络摄像头时,Touch 控制器未与其虚拟替身 正确匹配。 请查看上述前期准备 部分的第 2 步。确保您的传感器在整个流程期间都可以看到 用作 VR 对象的 Touch 控制器周围的感应环。

  3. 我在摄像头校准期间一直获得高分(高于 1 分)。 在校准 期间,请确保将整个棋盘格图案与矩形 对齐。对于每张图片,改变图片的旋转方向 并略微更改棋盘格的角度。

  4. CameraTool 正在检测我的摄像头,但在预览窗口中 显示黑屏。 确保没有其他应用程序正在尝试使用 网络摄像头。校准期间,CameraTool 应该是网络摄像头的主要 使用者。

  5. 我的摄像头相对 VR 对象的位置发生变化。如果摄像头 相对 VR 对象有所移动,您可在使用内部保存的测量标准 加载摄像头保存文件后,重新运行校准的 的外部部分(上述第 7 步)。


2018-05-23   #5

启动应用和合成场景

本页面介绍启动应用以及渲染最终混合 现实捕捉场景的流程。

有两种渲染混合现实捕捉场景的方式可供应用选择。一种 是让应用在内部处理所有合成、绿屏裁剪以及 构图。另一种是使用第三方应用程序(例如 OBS Studio 或 XSplit)构建场景。

使用第三方应用在外部合成

如果您使用的应用要求在外部合成该应用,本指南的 这一部分使用 OBS Studio 作为示例介绍该流程。其他程序 (例如 XSplit)也可用于此流程。

首先,如果尚未执行相关操作,请运行 CameraTool 校准摄像头或 加载配置文件。每次启动 Oculus 使用兼容混合现实捕捉模式 的应用时都需要重复此流程。请访问摄像头校准页面, 获取有关此流程的信息。

接下来,在混合现实捕捉模式下启动应用。启动混合现实捕捉模式 的方式取决于该模式在应用中的实施方式。 请参阅应用说明,了解如何在混合现实捕捉模式 下启动。

然后,您可以在 OBS Studio 中开始捕捉游戏和外部摄像头输出。

  1. 创建第一个资源。这将是场景的背景,因此我们会使用 Window Capture(窗口捕捉) 抓取整个镜像窗口。选择包含来自 VR 应用 的场景的窗口。

  2. 如果应用还捕捉场景的前景,则输出窗口可能会 包含 2 个图像:一个前景图像以及一个背景图像。添加 [Crop/Pad]([裁剪/填充])滤镜, 仅选择半个窗口并与前景和 背景捕捉内容关联。前景还会包含将从最终场景 剪贴的色键 (chroma key)。

  3. 选择 Transform(转换)→ Stretch to Screen(拉伸适应屏幕),让背景和前景 填充整个合成窗口。

  4. 为外部摄像头创建另一个资源,并应用对 前景和背景图像执行的相同转换。

  5. 添加色键特效滤镜,从外部摄像头 和前景捕捉内容中删除绿屏。

  6. 对捕捉窗口或色键执行所需的调整。图层的顺序 依次应为前景、外部摄像头图像和背景。

外部合成疑难解答

事情有时不会按预期发展。本部分介绍在外部合成 时会遇到的一些常见问题。

  1. 当我尝试在 OBS 中叠加 OWD 帧时,这些帧不会正确 显示。 确保执行裁剪时,在 OBS 中使用的分辨率与 在摄像头校准工具中设置的分辨率相同。此外,取消选中 裁剪/填充滤镜中的 Relative(相对) 复选框。

  2. 我的摄像头在 OBS 中相对于我的 Touch 控制器存在延迟。 VR 应用 渲染内容的速度快于外部摄像头。向前景和背景添加 Render Delay(渲染延迟)滤镜, 直到图像对齐。

  3. 在混合现实捕捉应用中完成所有设置后,OBS 未采集 我的网络摄像头的内容。 确保在完成 CameraTool 校准后, 首先将校准结果保存到 XML 文件,然后将摄像头设置保存到 OVRserver, 接下来关闭 CameraTool,最后再打开 OBS。

内部直接合成

您使用的应用可能会从外部摄像头检索输入, 然后将图像与来自应用的虚拟场景混合,从而合成场景。在这种 情况下,您需要参考应用内提示,了解在混合现实捕捉模式下 启动应用时如何设置场景。

就是这么简单!您已完成混合现实捕捉设置并准备好分享 您的体验。


登录后方可回帖

登 录
信息栏

全世界虚拟现实爱好者联合起来!

论坛官方群 372229166

Vive 玩家群 566598983

Oculus 玩家群 384450587

PSVR 玩家群 272885431

资源分享/经验交流/联机活动

Loading...