VIZ LAB / 243

AI 3D 资产生成可视化实验室

从单图到可编辑 3D 模型——把 AI 如何生成 3D 资产的核心机制以可交互 SVG 呈现。

01

3D 生成全景

3D 生成表示方法从 NeRF 隐式场、3DGS 显式高斯到扩散式 3D 持续演进。切换视图观察技术脉络与表示方法对比。

NeRF
隐式神经辐射场
2020,体渲染,慢但精细
3DGS
3D 高斯泼溅
2023,实时渲染,显式表示
扩散3D
3D latent 扩散
2024,单图生成可编辑网格
趋势
前馈 + 可编辑
单图秒级生成 + PBR 材质
02

隐式表示 vs 显式表示

SDF、NeRF、3DGS、Mesh 四种表示在参数量、渲染速度、可编辑性上各有取舍。切换表示方法聚焦对比。

SDF
符号距离场
隐式,光滑表面
NeRF
神经辐射场
隐式,体渲染
3DGS
3D 高斯
显式,实时渲染
Mesh
多边形网格
显式,工业标准
03

单图转 3D

TripoSR、TRELLIS、Hunyuan3D 从单张图像生成 3D 资产,分前馈与优化两条路线。切换模型对比架构。

TripoSR
前馈 · LRM
秒级,基于 Transformer
TRELLIS
扩散 · latent
高质量结构化
Hunyuan3D
扩散 · 两阶段
形状 + 纹理分离
前馈 vs 优化
速度 vs 质量
前馈快但粗,优化精但慢
04

PBR 材质生成

基于物理渲染(PBR)材质由反照率、法线、粗糙度、金属度等通道构成。切换通道观察分解与合成流程。

反照率 Albedo
基础色 · 无光照
物体固有颜色
法线 Normal
表面凹凸方向
细节几何伪影
粗糙度 Roughness
表面微粗糙
高光锐利度
金属度 Metallic
导体/绝缘体
反射行为控制
05

3D 扩散模型

扩散到 3D latent space 的映射通过去噪迭代生成 3D 资产。播放去噪过程观察 3D 形态涌现。

3D Latent
压缩 3D 表示
三平面/体素 latent
去噪过程
T 步迭代
从噪声到结构化
条件注入
图像/文本
CLIP 特征引导
解码器
latent → 表示
网格/高斯提取
06

拓扑生成与优化

生成网格的任意拓扑需经四边重拓扑、UV 展开、LOD 生成才能用于生产管线。切换阶段观察处理流程。

任意拓扑
三角网格
生成原始结果
重拓扑
四边网格
循环布线利于动画
UV 展开
2D 纹理映射
纹理贴图坐标
LOD
多细节层次
距离自适应简化
07

4D / 动画生成

静态 3D 资产通过骨骼绑定与动作驱动扩展为动态 4D。切换阶段观察动画生成流程。

静态 3D
刚性网格
无时间维度
骨骼绑定
Rigging
关节与权重蒙皮
动作驱动
运动序列
MoCap 或生成动画
4D 输出
动态资产
游戏/影视可用
08

3D 资产生态

TRELLIS、Hunyuan3D、TripoSR、Meshy、CSM 构成 3D 生成生态,对接游戏与影视生产管线。切换维度查看对比矩阵。

TRELLIS
微软 · 结构化
高质量可编辑
Hunyuan3D
腾讯 · 两阶段
形状纹理分离
TripoSR
Tripo · 前馈
秒级生成
Meshy
商业 · API
游戏资产生成
CSM
Common Sense
图片转 3D 服务