高级多模态可视化实验室
从视觉语言模型架构到 Any-to-Any 统一生成，从跨模态对齐损失到多模态推理链，深入解析多模态大模型的前沿技术与对齐机制。每个模块含可交互 SVG 演示。
VLM 架构：视觉编码器（ViT）提取图像 token，经投影层（MLP/Q-Former）对齐到 LLM 词嵌入空间，与文本 token 一起送入 LLM 解码。LLaVA 简洁高效，Qwen-VL 支持高分辨率。
Any-to-Any 统一模型（如 Chameleon、AnyGPT）将所有模态离散化为 token，用单一 Transformer 完成跨模态理解与生成。扩散模型（如 SD3）则统一文本/图像的连续生成，支持交错输出。
CLIP 通过对比学习将图文映射到同一空间，语义相近的跨模态样本聚集。ImageBind 进一步将 6 种模态对齐到图像锚点空间，实现零样本跨模态检索。
InfoNCE 损失最大化匹配图文对的相似度，最小化负样本对。温度参数 τ 控制分布锐度：τ 小聚焦硬负样本，τ 大更平滑。大批量负样本是对比学习性能关键。
多模态思维链（CoT）将复杂问题分解为感知-定位-推理多步。视觉 CoT 在每步生成中间视觉证据，提升可解释性。Tree-of-Thought 扩展为树形搜索，增强规划能力。
基于 CLIP 共享空间的双向检索：文本查图、以图搜文、图图检索。重排序（fine-grained cross-encoder）提升精度。在电商、版权、医学影像检索等场景广泛应用。
视频理解关键在时序建模：均匀/事件驱动采样抽帧，时空注意力捕捉动作演变。长视频用层次化记忆或分块摘要。Video-LLaVA、LongVA 等支持小时级视频问答与定位。
多模态评估涵盖感知、推理、知识、偏见多维度。MMMU 考察学科知识，MMBench 测多能力，MMMU-Pro 增加抗猜测难度。基准逐步逼近真实复杂场景，配合人工对齐评测。