知识蒸馏与推理迁移 · 可视化实验室

将大模型的思维链（Chain-of-Thought）逐步迁移到小模型。上方为教师的详尽推理链，下方为蒸馏后学生的精简推理，点击各列切换步骤。

教师（深、宽）与学生（浅、窄）架构差异显著，需通过层映射与中间层对齐技术建立对应关系。切换不同映射策略观察对齐方式。

蒸馏后的小模型（1B–7B）在推理基准上的性能与参数量权衡。虚线连接的为帕累托前沿模型，切换基准查看不同任务表现。

硬标签、软标签、特征匹配、关系蒸馏四种策略在迁移信息量与最终效果上差异显著。点击柱形切换策略并查看机制详情。

集成多个专长教师（数学、代码、推理）的知识，通过融合策略汇聚后蒸馏到统一学生。切换融合策略观察权重路由变化。

无需独立静态教师：自蒸馏让模型跨代/跨深度自我提炼；在线蒸馏让同辈模型在训练中互教。切换模式并播放对比动画。

蒸馏得到的小模型可部署到手机、IoT、PC 与边缘服务器。切换指标对比不同设备在延迟、内存、精度与能耗上的基准。