← 返回 TW Hub

模型合并与手术可视化实验室

模型合并全景

展示五种主流模型合并方法的原理架构:线性合并、任务算术、TIES、DARE稀疏化、模型汤。预训练模型作为基础,多个任务微调模型通过不同策略合并为统一模型。

就绪

任务算术 (Task Arithmetic)

任务向量 = 微调模型权重 - 预训练权重。通过任务向量的加减实现能力组合与遗忘。合并模型 = w_base + α·w_taskA + β·w_taskB。

就绪

TIES 合并

TIES三步法:Trim修剪小幅度权重,Elect选举参数符号,Disjoint Merge不相交合并。解决多任务合并中的参数冲突问题。

就绪

DARE 稀疏化

DARE (Dropout-Aware sparsification) 随机丢弃delta权重以比例p置零,剩余权重乘以1/(1-p)缩放,保留期望值不变。

就绪

模型汤 (Model Souping)

将多个微调模型的权重以不同策略融合:Uniform均匀平均、Weighted按验证集加权、Greedy贪心选择最优子集。

就绪

冲突分析

分析多模型合并中的参数冲突:符号相反导致互相抵消(红色),符号相同形成增强(绿色),幅度竞争导致偏移。

就绪

合并评估

评估合并模型在多任务上的综合性能:雷达图展示任务性能,干扰矩阵分析任务间相互影响,传输成本衡量合并开销。

就绪

方法对比

对比Linear、Task Arithmetic、TIES、DARE、SLERP五种合并方法在性能、冲突处理、计算成本、适用场景上的差异。

就绪