为什么选择One-2-3-45?5大优势让单图3D重建效率提升10倍

为什么选择One-2-3-45?5大优势让单图3D重建效率提升10倍

【免费下载链接】One-2-3-45 official code of "One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization" 【免费下载链接】One-2-3-45 项目地址: https://gitcode.com/gh_mirrors/on/One-2-3-45

One-2-3-45是一款革命性的单图3D重建工具,它重新思考了如何利用2D扩散模型进行3D AIGC,并引入了一种新颖的前向范式,避免了耗时的优化过程。无论是开发者还是普通用户,都能通过这个强大的工具在短短45秒内将任意单张图像转换为高质量3D网格模型,极大地提升了3D内容创作的效率。

优势一:前所未有的速度,45秒完成单图3D重建

传统的3D重建方法往往需要数小时甚至数天的时间,而One-2-3-45实现了质的飞跃,仅需45秒就能完成从单张图像到3D网格的转换。这种极速体验得益于其创新的前向计算架构,省去了复杂的迭代优化过程。

在实际测试中,使用NVIDIA A6000显卡,每张图像的处理时间稳定在40秒左右,相比传统方法效率提升了10倍以上。这种效率的提升使得快速原型设计、创意构思和批量处理成为可能。

优势二:无需专业知识,操作简单易用

One-2-3-45提供了多种简单易用的操作方式,即使是没有3D建模经验的新手也能轻松上手。

  • 脚本运行:只需一行命令即可启动重建过程:python run.py --img_path PATH_TO_INPUT_IMG --half_precision
  • 交互式演示:通过Gradio提供的友好Web界面进行操作,启动命令简单:cd demo/ && python app.py
  • Jupyter Notebook:提供示例笔记本,方便逐步学习和调试

优势三:强大的兼容性和灵活的部署选项

One-2-3-45提供了多种部署方式,满足不同用户的需求:

传统安装方式

适合有一定技术基础的用户,通过conda环境管理,步骤清晰明了。主要包括安装依赖包、创建环境、克隆仓库、安装项目依赖和下载模型 checkpoint 等步骤。详细流程可参考项目根目录下的 README.md 文件。

Docker镜像安装

为了简化环境配置,项目提供了两种Docker镜像:

  • 完整镜像:包含环境和 checkpoint,大小约22.3G,拉取后即可直接运行
  • 仅环境镜像:大小约7.3G,需自行克隆仓库和下载 checkpoint

优势四:丰富的API接口,便于集成和扩展

One-2-3-45提供了便捷的Gradio API,使得集成到其他应用程序中变得轻松。主要API包括:

单图转3D网格

通过简单的API调用,即可实现从单张图像到3D网格的转换:

generated_mesh_filepath = client.predict(
    input_img_path,
    True,        # 图像预处理
    api_name="/generate_mesh"
)

仰角估计

对于未知姿态(仰角)的输入图像,提供了现成的估计算法:

elevation_angle_deg = client.predict(
    input_img_path,
    True,        # 图像预处理
    api_name="/estimate_elevation"
)

图像预处理

集成了Segment Anything模型(SAM)进行背景移除,提供图像分割、缩放和居中功能:

segmented_img_filepath = client.predict(
    input_img_path,
    api_name="/preprocess"
)

优势五:开放源代码,支持自定义训练

One-2-3-45是一个开源项目,用户不仅可以使用预训练模型,还可以根据自己的需求训练自定义模型。项目提供了完整的训练流程和数据准备指南。

训练数据基于Objaverse-LVIS数据集,通过Blender将选定的形状渲染为2D图像。用户可以按照 README.md 中的说明准备训练数据,并使用提供的配置文件和脚本进行模型训练:

cd reconstruction
python exp_runner_generic_blender_train.py --mode train --conf confs/one2345_lod_train.conf

快速开始使用One-2-3-45

要开始使用One-2-3-45,只需按照以下步骤操作:

  1. 克隆仓库:git clone https://gitcode.com/gh_mirrors/on/One-2-3-45
  2. 按照 README.md 中的说明安装依赖和下载模型 checkpoint
  3. 选择适合的方式运行:脚本、交互式演示或Jupyter Notebook

无论你是3D建模爱好者、游戏开发者还是创意设计师,One-2-3-45都能为你带来前所未有的单图3D重建体验,让你的创意快速转化为3D现实。

引用与致谢

如果您觉得One-2-3-45对您的工作有帮助,请引用以下论文:

@article{liu2023one2345,
  title={One-2-3-45: Any single image to 3d mesh in 45 seconds without per-shape optimization},
  author={Liu, Minghua and Xu, Chao and Jin, Haian and Chen, Linghao and Varma T, Mukund and Xu, Zexiang and Su, Hao},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

感谢One-2-3-45开发团队的辛勤工作,以及HuggingFace对在线演示的支持。

【免费下载链接】One-2-3-45 official code of "One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization" 【免费下载链接】One-2-3-45 项目地址: https://gitcode.com/gh_mirrors/on/One-2-3-45

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值