模型合并全景
展示五种主流模型合并方法的原理架构:线性合并、任务算术、TIES、DARE稀疏化、模型汤。预训练模型作为基础,多个任务微调模型通过不同策略合并为统一模型。
就绪
任务算术 (Task Arithmetic)
任务向量 = 微调模型权重 - 预训练权重。通过任务向量的加减实现能力组合与遗忘。合并模型 = w_base + α·w_taskA + β·w_taskB。
就绪
TIES 合并
TIES三步法:Trim修剪小幅度权重,Elect选举参数符号,Disjoint Merge不相交合并。解决多任务合并中的参数冲突问题。
就绪
DARE 稀疏化
DARE (Dropout-Aware sparsification) 随机丢弃delta权重以比例p置零,剩余权重乘以1/(1-p)缩放,保留期望值不变。
就绪
模型汤 (Model Souping)
将多个微调模型的权重以不同策略融合:Uniform均匀平均、Weighted按验证集加权、Greedy贪心选择最优子集。
就绪
冲突分析
分析多模型合并中的参数冲突:符号相反导致互相抵消(红色),符号相同形成增强(绿色),幅度竞争导致偏移。
就绪
合并评估
评估合并模型在多任务上的综合性能:雷达图展示任务性能,干扰矩阵分析任务间相互影响,传输成本衡量合并开销。
就绪
方法对比
对比Linear、Task Arithmetic、TIES、DARE、SLERP五种合并方法在性能、冲突处理、计算成本、适用场景上的差异。
就绪