视觉推理链可视化实验室
从 VLM 架构到视觉思维链——把 2026 年视觉语言模型如何进行多步视觉推理的核心机制以可交互 SVG 呈现。
01
VLM 架构全景
视觉语言模型（VLM）数据流：图像输入 → 视觉编码器(ViT) → 视觉 Token 提取 → 投影层 → 语言模型融合 → 文本输出。点击按钮观察前向传播过程。
视觉编码器
ViT-Large / 224×224
将图像切分为 patch 并编码
投影层
MLP / Q-Former
视觉特征对齐到语言空间
语言模型
LLM (7B-70B)
融合视觉 Token 进行推理
02
视觉思维链
Visual Chain-of-Thought：观察图像 → 描述视觉特征 → 逐步推理 → 生成答案。每一步用高亮框标记关注的图像区域，并输出对应的文字推理。
03
空间推理
理解物体间的空间关系：上下左右前后、距离远近、3D 布局。用场景图展示空间推理过程，物体间用箭头标注空间关系。
方位关系
上下 / 左右 / 前后
基于参考系的拓扑关系
距离关系
近 / 中 / 远
基于深度估计的相对距离
3D 布局
场景图 + 坐标
构建物体空间拓扑结构
04
视觉问答推理路径
多步 VQA 推理：问题分析 → 图像区域定位 → 属性提取 → 关系推理 → 答案生成。用流程图与图像区域高亮展示完整推理路径。
05
视觉定位与分割推理
Grounding 推理链：文本描述 → 语义理解 → 图像区域匹配 → 边界框 / 分割掩码生成。动画在图像上逐步绘制 bounding box。
06
多图推理
多图像比较推理：图 A vs 图 B → 差异检测 → 关系判断 → 结论。用并排图像 + 差异高亮 + 推理链展示比较过程。
07
视频时序推理
视频理解推理链：帧序列输入 → 时序特征提取 → 动作识别 → 因果推理 → 事件总结。用时间轴 + 关键帧 + 推理链展示。
08
视觉推理基准
用雷达图对比不同 VLM 在 VQA-v2 / GQA / SEED-Bench / MMBench / ScienceQA 上的表现。展示 GPT-4o / Claude / Gemini / InternVL / Qwen-VL 的对比。