机器遗忘(Machine Unlearning)旨在让已训练模型"忘记"特定数据的影响,同时保持对剩余数据的性能。下方展示遗忘全景流程、精确遗忘、近似遗忘与影响函数四种视角。
精确遗忘(Exact Unlearning)通过从头重新训练或SISA分区策略,保证模型完全等价于从未见过遗忘数据。代价是计算开销大,但遗忘保证最强。
近似遗忘(Approximate Unlearning)通过梯度上升、影响函数、Fisher信息或牛顿步等方法,在不重新训练的前提下近似消除遗忘数据的影响,效率高但有近似误差。
知识编辑(Knowledge Editing)通过定位模型内部存储特定知识的权重位置,进行精准局部修改。ROME、MEMIT、超网络编辑和定位-编辑是四种主流方法。
机器遗忘的评估涵盖四个维度:遗忘质量(模型是否真正忘记)、效用保持(剩余任务性能)、效率(计算开销)和隐私保证(形式化保证强度)。
不同遗忘方法在速度、精度和适用场景上各有权衡。精确遗忘保证最强但最慢,近似遗忘快但有误差,知识编辑适合事实更新。下方多维度对比分析。
GDPR被遗忘权、CCPA删除权和EU AI Act共同构成了机器遗忘的法律驱动力。下方展示各法规的核心条款与合规流程。
机器遗忘在隐私保护、偏见消除、安全遗忘和版权合规等场景有广泛应用。下方展示四个典型应用场景的流程与价值。