世界模型与视频生成可视化实验室
从 Sora 到世界模型——把 2026 年视频生成模型如何理解和模拟物理世界的核心机制以可交互 SVG 呈现。
01
世界模型分类
世界模型分为四类：表征式（抽象推演）、生成式（像素复现）、交互式（3D 交互模拟）、理解-生成-预测一体化。用 2×2 象限图展示分类，每类配示例。
表征式
抽象状态空间
Dreamer / JEPA
生成式
像素级生成
Sora / Veo / Kling
交互式
3D 物理模拟
Genie / UniSim
一体化
理解+生成+预测
Gemini 2.0 / 世界模型
02
视频生成架构 (DiT)
Diffusion Transformer（DiT）架构：噪声输入 → 时间嵌入 → 空间-时间注意力块 → 去噪 → 视频帧输出。用流程图展示 DiT 的内部结构与去噪过程。
03
时空注意力机制
空间注意力和时间注意力的联合计算：空间内帧内 patch 关注 + 时间跨帧注意力。用矩阵图展示注意力权重的空间-时间分布。
空间注意力
帧内 patch 关注
同一帧内像素级关联
时间注意力
跨帧 token 关注
不同帧间运动关联
联合计算
时空交替堆叠
捕获复杂时空动态
04
物理一致性建模
物理规则保持：重力 / 碰撞 / 流体 / 刚体运动。用动画展示生成视频中物理规则的正确 vs 错误案例对比。
05
长视频一致性
长视频生成中的人物一致性 / 场景一致性保持策略：身份嵌入、记忆机制、分块生成 + 重叠融合。用时间轴展示分块策略。
06
条件视频生成
不同条件控制：文本→视频、图像→视频、视频→视频、布局→视频。用流程图展示条件信息如何注入生成过程。
07
世界模型评估
评估指标：物理合理性（PhysBench）、时序一致性、语义连贯性、用户偏好。用雷达图对比不同模型（Sora / Kling / Veo / 可灵 / Runway）。
08
应用场景矩阵
用网格图展示世界模型应用：模拟器训练、机器人学习、创意视频、游戏生成、自动驾驶仿真、科学模拟。每个应用卡片显示成熟度和技术要求。