虚境猎人许益泷：Quest 3时代C端XR应用的崛起趋势｜嘉程创业流水席第200席精彩回顾 原创 关注创新的 嘉程资本NextCapital
12.14.2023 | 嘉程资本：创新者的第一笔钱 | 嘉程创业流水席

MR在Meta公司的技术支持下具有强大的潜力，它能够鼓励用户走出去，带着MR设备去户外活动，鼓励用户联机社交，提供用户不输于VR的沉浸式体验。

近日，嘉程创业流水席第200席【探讨2024年MR的全新趋势与创新机会】，邀请了虚境猎人PICO端项目开发负责人许益泷分享，主题是《Quest 3时代C端XR应用的崛起趋势》。
大家好，我是许益泷，目前负责设计开发游戏《虚境猎人》。接下来，我将从Quest的重要功能以及当前VR领域受欢迎的应用等方面，探讨VR在C端应用的潜力。
首先，我来介绍一下目前Quest对我们应用开发比较重要的功能。Oculus提供各种强大的API，在这些API支持下，我认为我们的游戏《虚境猎人》具有强大的前景。例如Scene API、Mesh API、Depth API，其中Mesh API和Depth API是Meta近期推出的新功能。

Depth API——解决深度问题

在这些新功能推出之前，开发者通常会遇到一些影响用户体验的问题。首先是遮挡剔除问题。在VR应用中，虚拟物体按照正常顺序渲染。游戏引擎中的摄像机会发射射线，确定前后物体的位置，能够识别出哪些物体在前，哪些物体在后，将正确的渲染信息传递给游戏引擎，确保渲染无误。例如，通过左边图像，参照小图标摄像机的位置，可以确定正方体在球体前方，部分球体被正方体遮挡，因此渲染结果应该是正方体全部显示，而球体被遮挡的部分不会被渲染，只有未被遮挡的部分显示。
当前主流的一体式VR头盔（如Quest和PICO）提供了透视现实场景的功能，让用户能够通过头盔看到外界场景。这里我们会遇到一个深度问题。因为按照常规的透视设置，虚拟物体通常位于优先层级，而真实场景则位于虚拟物体后方。我在开发《虚境猎人》时发现，UI系统总是会被放置在现实手的前方，这可能会对用户视觉体验造成负面影响。
近期Meta给出了一种强大API，叫做Depth API，专门用于解决这个问题。Depth API能提供一种混合现实实现动态遮挡的机制功能，可以在每一帧对环境的深度进行感知，可用于各种基于深度的视觉效果。它对MR软件的开发起到很大的帮助。它可以做到现实世界物体后面的虚拟物体，在MR中遮挡，这对于虚拟和物理内容之间呈现可信的视觉交互至关重要。我们可以看左边这幅图，第一张图小精灵总是位于现实桌子的前方，这种渲染顺序肯定是错误的。当采用了Depth API之后可以看到虚假的小动物会位于真实的物体的后方，这种渲染层级是正确，可能会提供给用户更好的视觉反馈。
接下来总结一下Depth API的优点。
  • 第一点，它能够提供更舒适的游戏体验。因为物理对象和人员可以在物理空间中自由活动，深度会受到现实场景的影响，产生正确的遮挡。
  • 第二点，它可以帮助开发者创建一些基于深度的艺术效果。例如，它可以平滑过渡到背景环境。
  • 第三点优势是可以提供可信的手互交互体验，并鼓励人们用手操作虚拟物体。我觉得这点十分重要，例如在开发《虚境猎人》的 UI时，现实的手会被虚拟物体遮挡，用Depth API之后，可以解决这个问题。

Mesh API——解决物理导航等问题

第二个问题涉及现实环境的交互问题。在VR应用中，虚拟的物体只要正确配置，相互都有物理效果。在MR应用中，现实环境和物理环境之间是没有任何联系的，仅仅只有渲染效果，玩家不能和现实的物体发生实际的交互。例如，当玩家发射子弹打到现实中的墙壁或者其他物体，本应该要出现弹孔的痕迹，才会给玩家更强烈的沉浸感和体验感。如果玩家感知到现实和游戏场景并不能产生联系，就会产生突出的视觉隔阂，破坏用户体验和真实感。对于MR应用，虚拟和现实物理上准确地混合，对于防止此类用户体验中断至关重要。
近期Meta又推出了另一款API——Mesh API，它完美地解决了这个问题。Mesh API可将物理世界重构为单个基于三角形的网格，Meta Quest 3的空间设置功能通过捕获墙壁天花板和地板等环境元素，自动生成场景网格，从而产生精确的基于现实的物理效果。
接下来总结一下我发现的Mesh API的一些优势。
  • 第一点，它是可以生成准确的物理效果，例如在物理环境中的弹孔的效果，武器和场景中产生的物理碰撞，都极大受益于现实环境的详细表示。
  • 第二点是导航和避障。采用Mesh API，开发者可以根据场景网格的应用程序，能够了解物理空间中的障碍物，这可以通知AI导航，并防止虚拟对象与现实对象相交。
  • 第三点，它能够以更高的保真度访问用户的环境，使用户可以自由地将虚拟对象放置和附加到更精确的位置。

Scene API——提供场景锚点标定

第三个API是新Scene API。Scene API是Meta推出的一款比较成熟的API，它允许用户手动将真实场景描绘出来。现在已经有应用此技术实现的游戏，比如spatial ops。
我认为目前较为广泛应用的MR主要应用有三类，一种是室内应用，一种是桌面应用，还有一种是联机应用。对于MR室内应用，有一款名为DISCOVER的游戏；而桌面应用方面，有一款名为PianoVision的热门MR应用，允许用户在桌面上创建钢琴并演奏；联机应用方面，例如一款名为SABER CITY的游戏，允许玩家在自己的房间内与伙伴互动。
总的来说，MR在Meta公司的技术支持下具有强大的潜力，它能够鼓励用户走出去，带着MR设备去户外活动，鼓励用户联机社交，提供用户不输于VR的沉浸式体验。

嘉程资本Next Capital是一家专注科技领域的早期投资基金，作为创新者的第一笔钱，我们极度信仰科技驱动的行业创新，与极具潜力的未来科技领袖共同开启未来。

 

我们的投资涵盖人工智能、硬科技、数字医疗与健康、科技全球化、生物科技与生命科学、企业服务、云原生、专精特新、机器人等领域。投资案例包括元气森林、熊猫速汇、寻找独角兽、店匠、士泽生物、芯宿科技、未名拾光、橄榄枝健康、硅基仿生等多家创新公司。

 

嘉程资本旗下的创投服务平台包括「嘉程创业流水席」，「NEXT创新营」、「未来联盟」等产品线，面向不同定位的华人科技创新者，构建了大中华区及北美、欧洲和新加坡等国家地区活跃的华人科技创新生态，超过3000位科技行业企业家与巨头公司高管在嘉程的平台上分享真知灼见和最新趋势。

 

嘉程资本投资团队来自知名基金和科技领域巨头，在早期投资阶段富有经验，曾主导投资过乐信（NASDAQ:LX）、老虎证券（NASDAQ:TIGR）、团车（NASDAQ:TC）、美柚、牛股王、易快报、PingCAP、彩贝壳、云丁智能等创新公司的天使轮，并创办过国内知名创投服务平台小饭桌。

 

嘉程资本是创新者思考的伙伴，成长的伙伴。

 

嘉程资本
握手未来商业领袖
BP 请发送至 BP@jiachengcap.com
微信ID：NextCap2017