作为现阶段最成功的VR内容生态之一,Quest商店吸引了越来越多开发者发布VR内容,但这对于Meta来讲似乎还不够,其也在探索某种UGC VR生态,比如在Horizon Worlds中提供可视化开发工具,让普通人也能创造VR应用。而近期,Meta公布的一项新研究表明,未来制作AR/VR内容可能就像拍短视频那么简单。
据了解,Meta为了简化AR/VR内容开发方式,研发了一种RGB-D图像生成3D模型方案:MCC。MMC全称是多视图压缩编码,它是一种基于Transformer的编码器-解码器模型,可根据一帧RGB-D图像合成/重建3D模型,潜在应用场景包括AR/VR、3D视觉重建、机器人导航、数字孪生/虚拟仿真等等。与普通彩色2D图像不同,RGB-D是具有深度的彩色图像,相当于普通RGB三通道彩色图像加上深度图(Depth Map),二者是配准的,像素一一对应。
实际上,Meta在2018年的F8大会上,就曾公布3D照片研究,可通过双摄手机拍摄出具有3D效果的照片,其中包含一定的深度信息。其甚至还研发了将2D图像转3D的CNN模型,特点是支持单摄手机。这意味着,它如果结合MCC方案,或许可以将单摄手机捕捉的2D图像合成为3D模型。

Meta提出MCC方案,通过3D感知编码器简化AR/VR内容创建。该模型基于RGB-D图像,能预测被遮挡的3D几何形状,无需多角度图像或3D CAD模型,有望实现3D开发的规模化。MCC具有广泛的数据源兼容性,适用于各种场景和对象的3D重建。

742

被折叠的 条评论
为什么被折叠?



