← 返回 TW Hub

神经渲染与3D高斯泼溅可视化实验室

Neural Rendering & 3D Gaussian Splatting · M1-M8

M1 · 渲染技术演进

从光栅化到光线追踪到 NeRF 再到 3D 高斯泼溅,渲染技术经历四代演进:从硬件光栅化的实时但无全局光照,到光线追踪的真实物理模拟,再到神经辐射场的高质量新视角合成,最终到 3D 高斯泼溅的实时高质量显式表示。

M2 · NeRF 原理与训练

神经辐射场用 MLP 编码 5D 输入 (x,y,z,θ,φ) → (RGB,σ),通过体渲染合成新视角。采样相机射线、查询网络、积分合成、端到端训练是其四大核心环节。

M3 · 3D 高斯泼溅原理

用 3D 高斯椭球体表示场景,通过泼溅 (splatting) 投影到 2D 屏幕并按深度排序做 alpha 混合,实现实时渲染。每个高斯由位置、缩放、旋转、颜色 (球谐)、不透明度参数化。

M4 · 3DGS 渲染管线

从 3D 高斯到 2D 图像的完整可微渲染管线:按深度排序 → 分块 (tile) 分配 → 光栅化泼溅 → 前向 alpha 混合成图,反向传播梯度更新高斯参数。

M5 · 动态场景重建

从静态到动态:4D 高斯泼溅与变形场 (deformation field) 为 3DGS 注入时间维度,实现视频级动态场景的重建与自由视角回放。

M6 · 场景编辑与操控

对 3DGS 场景进行编辑、变形、组合:显式的高斯表示让物体移除、纹理编辑、场景组合、物理模拟等操控成为可能,开辟了可编辑神经渲染新方向。

M7 · 压缩与流式传输

3DGS 场景动辄数百 MB,压缩与流式传输是实用化关键:量化降精度、剪枝去冗余、分块 LOD 流式加载,让大场景在移动端也能流畅呈现。

M8 · 应用场景

从 VR/AR 到数字孪生,从自动驾驶仿真到影视虚拟制作,神经渲染与 3DGS 正在重塑三维内容的生产与消费方式,实现照片级真实感的实时交互。