Vision Pro:多人XR协作这样玩才对味

解决Unity XR Plugin Management安装失败,配置Vision Pro开发环境 XR(扩展现实)插件管理是Unity引擎整合AR、VR及MR等沉浸式平台的核心框架,其原理是通过统一的包管理器来安装、配置和管理不同硬件供应商的SDK。这项技术的价值在于为开发者提供了跨XR平台的标准工作流,极大简化了混合现实应用的开发门槛,其应用场景广泛覆盖从游戏娱乐到工业培训的各个领域。然而,在对接Apple Vision Pro这类新兴空间计算平台时,开发者常会遇到XR Plugin Management安装失败这一棘手问题,这通常与网络连接、缓存冲突或环境配置有关。本文将深入解析其成因,并提供从网络 阅读详情

早在iOS 15系统更新中,苹果就推出了SharePlay功能,该功能主要针对多人协作和社交,允许用户在FaceTime会话中一起看剧、听歌、共享屏幕。Vision Pro头显也支持该功能,允许用户共享AR图像和空间上下文信息,实现远程可视化协作。与iOS端不同的是,XR共享具有空间感,本质上是为了模拟人们在线下面对面交流的体验。

在使用Google Doc、石墨文档等常用工具与其他人共享文字时,只能看到对方的光标移动,这种视觉交互比较扁平,缺少空间感。而在空间平台中共享文档时,你可以看到其他人的翻页手势,带来更好的临场感。

XR空间共享的核心

在iOS平台SharePlay与FaceTime的关系密不可分,其实主要就是建立在在线通话场景的多媒体信息共享。在空间计算场景,SharePlay的一个核心元素是Spatial Personas系统,也就是基于面部扫描的3D头像。用户通过Personas头像参与对话和互动,不再像视频通话那样将图像限制在窗口中,而是可以占据虚拟场景中的一个位置,具有临场感。

除了Personas之外,SharePlay还支持上下文共享,意味着参与SharePlay会话的每个人,都能共享互相之间的相对位置。比如在三个人会话中,A面向B,那么B会看到A面向自己。

简单来讲,上下文共享的目的主要是为了达到空间一致性和视觉一致性,也就是说参与会话的用户做出的动作、看到的内容上都是同步的。而空间音频也带来声音上的一致性:当多名用户处于相同的环境时,可以共享相同的音频上下文,意味着每个人都可以从同一方向听到相同的声音。

如何共享空间

在visionOS平台的SharePlay模式中,最多支持5人同时参与。会话窗口的相对位置支持共享,原理是识别参与者与共享应用之间的相对排列方式,并确保这种排列在不同的空间中具有一致性。

目前,visionOS有三种空间位置模板,主要用于确定应用与参与者之间的最佳位置。这些模板分别是:并排、半环绕、环绕式队形,其中:

  • 并排模板是默认设置,通常适用基于常规窗口的多人应用;
  • 半环绕式则适合听歌等在后台运行的环境应用,内容并不是体验的核心;
  • 环绕式则适合设定在虚拟场景中的多人3D应用,用户之间的距离取决于应用场景大小。

在同时运行多个窗口时,SharePlay应用可识别与共享场景相关的内容,也就是用户们在同时使用的一个窗口,并根据这个窗口的内容来匹配空间位置模板。同时,系统还会标记共享中的窗口,避免用户不小心改动了窗口内容。

界面共享形式

在visionOS系统中,SharePlay有两种模式,一种是直接共享2D窗口/桌面,但不支持交互,另外一种则是共享支持交互的应用程序(2D或3D沉浸式)。

比如,iOS端的SharePlay应用可移植到Vision Pro平台中,将窗口与3D空间内容结合。在iOS端,SharePlay为FaceTime用户提供十几款可共享的应用,用途包括观星模拟、派对游戏、笔记、论坛,以及音乐、直播、短视频、流媒体等应用。

在Vision Pro平台中,SharePlay也可以引入多种应用,比如3D立体的Disney+、Apple TV体验,或是具有空间感的协作应用,比起在移动设备上共享笔记文档,空间协作可为交互带来更多可能。

在办公场景中,视觉一致性意味着多位用户可以共享同一个白板,看到同样的内容。此外,当一位用户指向特定位置或物体时,其他人可以像亲临现场一般看到这个动作。

此外,参与会话的所有人也可以共享一个沉浸式群组空间,比如在美丽的星球上一起探索。还可共享电视、扬声器、白板或桌子。或是从2D窗口中调出3D虚拟场景(Full Space),潜在的用途包括空间探索、游戏、影音媒体等等。

在个人和共享之间切换

通过共享上下文特性,SharePlay允许每个人能看到相同的应用内容、做同一件事。但实际上,每个人的应用都是在设备上独立运行的,每个人看到的UI可能会有不同。比如虽然大家共享同一个应用窗口,但不同的用户可使用不同的编辑模式,或是个性化的工具。

除了共享窗口外,每个用户还可以打开独立的个人窗口,用于做笔记等场景。

在FaceTime会话过程中,你还可以随时进入独立的个人沉浸空间(全景图、180°/360°视频),在其他人的视角中,你不再以Persona形象出现,而是一个联系人头像标识,代表你暂时离开共享空间,不过依然可以保持语音通话。

与多人沉浸式群组空间不同,个人沉浸空间的坐标中心是独立的用户,空间的内容围绕使用者周围展开。在多人会话中,用户只需要按下数字旋钮即可快速、暂时退出沉浸式体验。参考:Apple

MR调研报告:软硬件生态持续完善,Vision Pro 有望开启空间计 今天分享的是深度研究报告:《 阅读详情

相关推荐

Vision Pro躺着用:解锁XR设备舒适体验与沉浸场景新范式

空间计算作为下一代交互的核心范式,其本质在于将数字内容无缝融入并增强用户的物理环境感知。其技术原理依赖于高精度传感器、实时环境理解与渲染能力,旨在突破传统屏幕的物理限制,创造更具沉浸感和直觉性的交互体验。从技术价值看,它不仅能提升娱乐与媒体消费的沉浸感,更能革新生产力场景,为远程协作、设计评审、教育培训等领域提供全新的解决方案。在应用场景上,空间计算正从早期的游戏与演示,向深度媒体消费、专注型生产力工具及健康放松应用拓展。本文聚焦于如何通过优化佩戴姿势与环境,特别是探索“躺姿”这一颠覆性使用范式,来充分

weixin_31887307的博客 320

Isaac Lab 入门教程(四) 使用头显 Apple Vision Pro 进行形机器遥操作

本文介绍了如何将NVIDIA CloudXR与IsaacLab结合使用,通过Apple Vision Pro实现沉浸式机器远程操作。主要内容包括:系统要求(推荐使用RTX 6000 Ada GPU和Vision Pro)、两种运行CloudXR Runtime的方法(推荐Docker Compose方案)、Vision Pro客户端的构建安装步骤,以及XR开发要点(场景定位、性能优化90Hz/45Hz渲染、手部追踪重定向架构)。文章还提供了OpenXR设备集成方案和已知问题的解决方法,为构建高保真远程操作

机器人控制与仿真应用 1386

Karl Guttag评Vision Pro:比Quest Pro做了更正确选择

毕竟Vision Pro像素数量是Quest Pro的约3.3倍,而且搭载更高分辨率的摄像头阵列,支持更高分辨率VST透视,因此需要更大量和复杂的计算,功耗高是合理的。其中最重要的问题,是的视觉系统复杂变,现有的AR/VR光学显示技术还无法突破物理局限,即使投入大量才、时间和资金,也很难找到解决办法。而Vision Pro则配备两个高分辨率透视相机,还有深度摄像头、自研双芯片,尽管可能没有完美解决VST透视问题,但从其他的体验反馈来看,透视体验比Quest Pro更好,几乎没那么明显问题。

qingtingwang的博客 540

Vision Pro】使用 Unity 创建 Apple Vision Pro 应用程序和内容详细步骤

上面已经构建了环境,但是如果您想使用示例场景,请从 Packages > PolyStatial > Sample 导入它。启动 Xcode 并启动模拟器。过程与上一条中的MR相同,直到打开XR插件管理的Apple VisionOS。换句话说,如果你想在不使用 MR 的情况下创建一个完全沉浸式的 VR 项目。是使用 URP 创建的,因此除非有特殊原因,否则最好使用 URP 创建它。让我们整理一下可以使用 Unity 创建的应用程序类型的名称。正常构建是可以的,但是在我的环境下出现了如下错误。

leoysq的博客 1263

苹果Vision Pro将引爆交互的重大变革

Vision Pro只是专业化的MR硬件设备,后续在油气行业的应用落地,还需要结合网络通信、专业软件、工智能、数字孪生、知识图谱、数据互联互通等技术进行整体考虑。。

hhue2007的专栏 1533

XR开发 第1章 聊一聊apple vision pro XR的开发

随着apple vision的正式发售,虚拟现实技术再次成为了们讨论的热点,当我们静下来心来去思考时,会发现虚拟现实技术能够给我们的生活的各个方面带来巨大的变化。例如远程医疗,远程办公,影音娱乐,元宇宙等等。

Dr_chaser的博客 1615

Vision Pro(Unity + PolySpatial)开发

Unity开发Vision Pro流程

m0_68256659的博客 3314

XR专题:Vision Pro促进XR应用落地场景打开,内容繁荣可期

今天分享的是深度研究报告:《(报告出品方:国金证券)页。

kjwjm002的博客 901

实时云渲染技术赋能Apple Vision Pro全面接入数字孪生3D/XR应用

数字孪生新场景:企业级三维可视化程序支持在Apple Vision Pro上运行

ln359558727的博客 992

XR开发 第2章 apple vision pro XR开发的基础知识 1- 软件篇

本来是考虑到XR的学习资料比较少,但是VR和AR的资料相对比较充足,且XR当前发展只是早期阶段,所以先从VR和AR学起,再去研究XR的。但是后来看了一下B站上发布的苹果官方培训教程,感觉讲的还是不错的,因此决定还是先从XR开始学,后续有需要了再去学习VR和AR。本章我主要是结合苹果官方的第一节课所提到的各种基础知识进行说明,因为自身在该领域属于小白,所以很名词解释我觉的还是直接采用官方的比较合适,如果我有一定理解的我会加上我的说明。注意。

Dr_chaser的博客 1744

Apple WWDC:XR 技术对劳动力市场的未来影响:Vision PRO Swift

在最近的 Apple 全球开发者大会(WWDC)上,苹果公司展示了一项新的技术——增强现实(XR),它将对劳动力市场产生深远的影响。随着技术的不断演进和应用的广泛普及,我们可以期待劳动力市场在 XR 的推动下迎来更的机会和变革。制造业和物流领域的优化:增强现实可以在制造业和物流领域提供实时的可视化信息,帮助劳动力更好地理解和操作复杂的设备和流程。该应用利用 Vision 框架的文字识别功能,检测相机捕获的图像中的文本,并在 AR 场景中创建相应的 3D 文字节点。

BitNetO的博客 97

Vision Pro 2 和 visionOS 3 的未来展望:2025年的科技愿景

随着苹果公司不断推进其在扩展现实(XR)领域的探索,Vision Pro 2及其配套操作系统visionOS 3预计将在2025年迎来重要的更新和发展。本文将深入探讨Vision Pro 2的硬件改进、visionOS 3的功能增强,以及苹果与其他XR厂商的竞争态势,并结合前沿技术趋势提出优化建议。

这里汇聚了前沿的技术分享与实用的开发技巧,带你探索从创意到企业的技术创业之路。 963

Unity开发Apple Vision Pro应用:从环境搭建到首个交互Demo

空间计算正重新定义交互的边界,其核心在于将数字内容无缝融入物理世界,实现虚实融合的沉浸式体验。这一技术依赖于高精度追踪、实时渲染和空间锚定等关键技术,为教育、设计、娱乐等领域带来变革性应用。Unity作为领先的实时3D开发平台,通过其成熟的工具链和生态,为开发者提供了构建空间计算应用的高效路径。在Vision Pro开发中,Unity的PolySpatial插件是关键桥梁,它负责将Unity内容与visionOS系统合成器对接,并处理眼动追踪、手势识别等核心输入。本文聚焦于如何从零开始配置Vision

weixin_30613343的博客 404

苹果低价版Vision Pro 推迟至2027年发布:XR领域的变局与挑战

苹果宣布其低价版Vision Pro头显将推迟至2027年发布,这一消息在XR(扩展现实)社区引发了广泛讨论。作为一名长期关注XR领域的KOL兼投资,我对这一决定有着深刻的思考和见解。

这里汇聚了前沿的技术分享与实用的开发技巧,带你探索从创意到企业的技术创业之路。 232

Apple WWDC 2023:XR 对劳动力市场的未来影响 Vision PRO

在 2023 年的 Apple 活动上,备受期待的公告揭开了技术的下一次飞跃。让我们仔细看看这些进步对未来劳动力市场的影响。

iCloudEnd的博客 359

Unity Apple Vision Pro 开发(二):Unity 环境配置、导入 PolySpatial 案例、PlayToDevice 实时预览、程序打包

这期教程我将介绍使用 Unity 开发 Apple Vision Pro 应用所需要的 Unity 环境配置,以及如何导入 PolySpatial 样例场景、配置 Play To Device 实时预览功能、将 Unity 程序打包到头显中运行。

qq_46044366的博客 5094

等待风起——京东.Vision项目参与实录分享

我曾在3D创业公司负责过第二曲线,也曾在有一段家居创新业务经历,如今在京东正好做3D和家居的结合,作为主产品参与了京东.Vision首个版本的构建。正值我的京东一周年,也借此机会记录下这段难忘又有趣的经历。

京东零售技术的博客 2946

2024年主流XR硬件产品综述

随着技术的不断进步,扩展现实(XR)领域在2024年迎来了显著的发展和变化。这一年里,不仅有个备受期待的产品正式发布,还有关键的操作系统更新以及未来产品的预告,为行业注入了新的活力。以下是关于2024年主流XR硬件产品的专业博客综述。

这里汇聚了前沿的技术分享与实用的开发技巧,带你探索从创意到企业的技术创业之路。 266
上一篇: 谷歌AR光学工程总监:Vision Pro简化AR/VR/MR定义,消费者更易选择
下一篇: Meta为全天候AR眼镜设计了AI系统的八大指导方针
青亭网-
博客等级 码龄4年 109粉丝 · 362原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值