AI视频生成可视化实验室
从Sora到Kling——把AI视频生成的核心技术架构以可交互SVG呈现。
01
视频生成全景
技术演进从GAN到Diffusion再到DiT，关键模型与应用场景的演进路径——视频生成如何从模糊短片走向电影级长片。
GAN时代
对抗生成
VGAN/MoCoGAN，时序不稳定
Diffusion时代
逐步去噪
Make-A-Video/Imagen Video
DiT时代
Transformer规模化
Sora/Kling/Runway Gen-3
应用场景
影视/广告/教育
从素材生成到世界模拟
02
扩散视频模型
时空注意力、3D U-Net、潜在空间扩散与去噪过程——扩散模型如何在时空维度上逐步生成连贯视频。
时空注意力
3D Self-Attention
空间+时间联合建模
3D U-Net
编码-解码结构
下采样捕获时空特征
潜在空间扩散
压缩后去噪
VAE降维降低计算量
去噪过程
T步迭代
从纯噪声到清晰视频
03
DiT架构
Diffusion Transformer、Patch化、条件注入与缩放定律——用Transformer替换U-Net作为扩散骨干，实现规模化视频生成。
Patch化
视频切分为token
2x2x2时空patch嵌入
条件注入
AdaLN-Zero
时间步+文本自适应归一化
缩放定律
参数量↑质量↑
DiT-XL性能最优
核心优势
可扩展性强
统一架构继承LLM经验
04
文本到视频
文本编码、时序一致性、运动控制与提示词工程——从一段文字到一段连贯动态视频的完整生成流程。
文本编码
T5/CLIP编码
提示词→语义向量
时序一致性
跨帧注意力
保持物体身份连贯
运动控制
相机/物体轨迹
运动强度与方向可控
提示词工程
结构化描述
主体+动作+风格+镜头
05
视频编辑
视频修复、风格迁移、动作编辑与角色一致性——基于扩散模型的视频编辑如何保持时序连贯地修改内容。
视频修复
区域重绘
遮罩区域内容生成
风格迁移
保留运动换风格
结构保持+外观变换
动作编辑
改变运动轨迹
运动引导条件注入
角色一致性
身份保持
参考图约束生成
06
长视频生成
分段生成、过渡控制、故事板与时序连贯性——如何突破单次生成长度限制，生成叙事连贯的长视频。
分段生成
逐段递推
前段尾帧作为后段起点
过渡控制
平滑衔接
重叠区域融合去接缝
故事板
分镜规划
关键帧定义叙事节点
时序连贯
全局一致性
长程记忆与身份锁
07
视频质量评估
FVD/IS/CLIP Score、时序一致性、人类评估与基准——如何量化AI生成视频的画面质量与动态连贯性。
FVD
Fréchet视频距离
分布距离，越低越好
CLIP Score
文本-视频对齐
语义一致性度量
时序一致性
帧间连贯
warping误差与闪烁
VBench基准
综合评测
多维度自动+人工评估
08
视频生成生态
Sora/Kling/Runway/Pika/可灵的能力对比与商业模式——主流视频生成模型的定位、能力边界与商业路径。
Sora
OpenAI世界模拟
长时序+物理理解
可灵Kling
快手自研
长视频+高分辨率
Runway
Gen-3 Alpha
影视创作工具链
商业模式
订阅+API
按秒计费/创作平台