多模态融合可视化实验室Multimodal Fusion Visualization Lab

图像编码器与文本编码器将两种模态映射到共享嵌入空间，通过对比损失拉近正样本对、推远负样本对，温度参数 τ 控制分布的锐度。

CLIP 在 4 亿图文对上训练，正样本对（匹配的图像-文本）在嵌入空间中相互靠近，负样本对（批次内不匹配项）被推开。温度 τ 越小，softmax 分布越尖锐，模型对困难负样本更敏感；τ 越大则分布越平缓、聚类越松散。点击"播放"可观察嵌入点的动态演化。

图像被切分为 patch 网格，每个 patch 展平为向量并加上位置编码，作为 Transformer 的输入序列进行编码。

ViT 把图像当作 NLP 中的 token 序列处理：224×224 图像用 patch=16 切分得到 196 个 patch，每个 patch 线性投影为 768 维向量，前置一个可学习的 [CLS] token 用于汇聚全局信息。patch 越小→序列越长→精度更高但计算量平方增长；patch 越大→序列越短→更快但细节丢失。

文本 token 与图像 patch 之间通过注意力连线建立跨模态对齐。点击文本 token 查看其关注的图像区域。

跨模态注意力是融合的关键：文本 token 作为 Query，图像 patch 作为 Key/Value（或反之），注意力权重揭示哪个词关注图像哪块区域。多头注意力从不同子空间捕捉多种对齐模式。计算量随 heads × tokens × patches 线性增长。

图像经编码器提取特征，解码器逐词生成描述，Beam Search 在多条候选路径中保留最优序列。

图像描述是典型的编码器-解码器结构：视觉编码器输出图像特征向量，解码器以自回归方式逐词生成，每步把已生成词 + 图像特征作为输入。Beam Search 同时维护 beam 条候选路径，按累计对数概率排序，宽度越大越可能找到全局最优但计算开销也越大。

图像与问题联合编码，经注意力推理定位相关区域并生成答案。切换问题类型观察不同推理路径。

VQA 需要模型同时"看懂图"和"读懂题"：计数类问题需要定位并数目标；颜色类关注属性；位置类需要空间关系推理；是否类是二分类。联合注意力让模型把问题语义对齐到图像区域，再从候选答案中分类或生成。

图像与文本被投影到共享的统一嵌入空间，可按距离度量进行跨模态检索。调整投影维度与度量观察分布变化。

统一嵌入空间是多模态检索的基础：语义相近的图像和文本在空间中距离也相近。余弦距离关注方向相似性（对幅度不敏感），欧氏距离同时考虑幅度。投影维度越高表达能力越强但更难训练、更易过拟合。检索时用 Top-K 最近邻返回结果，mAP 衡量整体排序质量。

双向检索：文本查图像与图像查文本。播放检索流程观察相似度计算、排序与 Top-K 返回。

图文检索是统一嵌入空间的直接应用：文本→图像检索用文本向量在图像库中找最近邻，图像→文本则相反。流程为：查询编码 → 与库向量计算相似度 → 排序 → 返回 Top-K。召回率衡量 Top-K 中包含正确结果的比例，K 越大召回越高但精确度可能下降。

音频波形转频谱图后编码，与文本/图像特征按不同融合策略结合。切换融合方式对比三种范式。

音频融合把语音/声音纳入多模态体系：波形经 STFT 得到 Mel 频谱图，再由音频编码器提取特征。早期融合在特征层拼接后统一编码，信息交互最充分；晚期融合各模态独立编码后于决策层加权组合，模块化最强；交叉注意力让模态互为 Q/K/V 进行细粒度交互，效果通常最佳。