
微软研究院 4B 参数 image-to-3D 模型:O-Voxel 表示搞定任意拓扑+完整 PBR 材质,512³ 仅 3 秒,24GB 显存可本地跑,MIT 协议全开源
是什么
微软研究院的 image-to-3D 生成大模型(4B 参数):丢一张图进去,几秒到一分钟吐出带完整 PBR 材质的高分辨率 3D 模型。TRELLIS 一代原班人马的二代作品,MIT 协议,代码+权重全开源可商用。
核心创新:O-Voxel
抛弃传统等值面场(SDF/Flexicubes),改用"无场"全体素表示 O-Voxel,几何和外观一起编码:
- 任意拓扑:开放表面(衣物、树叶)、非流形几何、内部封闭结构全拿下——同类方法的老大难
- 完整 PBR 材质:Base Color / Roughness / Metallic / Opacity,支持透明/半透明
- 极致压缩:Sparse 3D VAE 16× 空间下采样,1024³ 资产只压成 ~9.6K latent token,感知无损
速度(H100 实测)
| 分辨率 | 耗时 |
|---|---|
| 512³ | ~3 秒 |
| 1024³ | ~17 秒 |
| 1536³ | ~60 秒 |
部署
- Linux + NVIDIA GPU ≥24GB(3090/4090/A100 均可),CUDA 12.4 + PyTorch 2.6
- 推理、纹理生成、训练代码全部开源,HF Space 有免费在线 Demo
- 已知局限:原始 Mesh 偶有小洞(官方有补洞后处理脚本);基座模型无美学对齐,风格需调输入
数据
GitHub 10.5k stars,HF 132 万下载(2025-12 发布),目前开源图生 3D 的标杆。
链接
暂无评论
