TRELLIS.2:微软开源图生 3D 大模型,3 秒出带 PBR 材质的 3D 资产

TRELLIS.2:微软开源图生 3D 大模型,3 秒出带 PBR 材质的 3D 资产


微软研究院 4B 参数 image-to-3D 模型:O-Voxel 表示搞定任意拓扑+完整 PBR 材质,512³ 仅 3 秒,24GB 显存可本地跑,MIT 协议全开源

是什么

微软研究院的 image-to-3D 生成大模型(4B 参数):丢一张图进去,几秒到一分钟吐出带完整 PBR 材质的高分辨率 3D 模型。TRELLIS 一代原班人马的二代作品,MIT 协议,代码+权重全开源可商用。

核心创新:O-Voxel

抛弃传统等值面场(SDF/Flexicubes),改用"无场"全体素表示 O-Voxel,几何和外观一起编码:

  • 任意拓扑:开放表面(衣物、树叶)、非流形几何、内部封闭结构全拿下——同类方法的老大难
  • 完整 PBR 材质:Base Color / Roughness / Metallic / Opacity,支持透明/半透明
  • 极致压缩:Sparse 3D VAE 16× 空间下采样,1024³ 资产只压成 ~9.6K latent token,感知无损

速度(H100 实测)

分辨率耗时
512³~3 秒
1024³~17 秒
1536³~60 秒

部署

  • Linux + NVIDIA GPU ≥24GB(3090/4090/A100 均可),CUDA 12.4 + PyTorch 2.6
  • 推理、纹理生成、训练代码全部开源,HF Space 有免费在线 Demo
  • 已知局限:原始 Mesh 偶有小洞(官方有补洞后处理脚本);基座模型无美学对齐,风格需调输入

数据

GitHub 10.5k stars,HF 132 万下载(2025-12 发布),目前开源图生 3D 的标杆。

链接

1100举报0Xiao.Xi4天前
点击获取 ^_^
被收录:

暂无评论