M1 · 自适应计算全景
不同输入需要不同计算量——自适应计算让模型按需思考。固定计算对所有输入一视同仁地跑满全部层,而自适应计算根据输入复杂度动态分配计算深度,简单输入少算、复杂输入多算,在保持精度的同时大幅降低平均计算开销。
M2 · 早退机制(Early Exit)
在Transformer层间插入辅助分类器,简单输入提前输出,无需跑完所有层。每个退出点都有独立的分类头,当中间层的预测置信度超过阈值时即可提前终止计算,将剩余层的计算资源留给真正需要深度推理的复杂输入。
M3 · 动态深度路由
Mixture-of-Depths让每个token选择自己的计算路径,跳过不必要的层。每层内置轻量路由器,对token进行重要性评估,只有被选中的token才通过该层计算,其余token直接跳过。这种机制实现了token级别的深度动态分配。
M4 · Token级计算分配
不同token需要不同计算量——关键token多算、填充token少算。通过重要性评估为序列中的每个token分配差异化的计算预算,将有限的计算资源集中在信息密度高的token上,从而在不增加总计算量的前提下提升模型性能。
M5 · 推理时缩放(Scaling)
从CoT到ToT到自洽性,推理时增加计算量提升性能。不同于训练时缩放(扩大模型参数),推理时缩放在模型固定的情况下,通过更精巧的推理策略——生成更多中间步骤、探索多条路径、多采样投票——来换取更高的准确率。
M6 · 稀疏激活模式
MoE专家路由——只有部分专家被激活,总参数大但单次计算小。混合专家模型将稀疏性引入前馈网络层,每个token只激活Top-K个专家子网络,在保持模型容量的同时将单次推理的活跃参数量大幅降低。
M7 · 计算预算分配
在延迟、吞吐、精度之间权衡,动态分配计算预算。不同的部署场景对三项指标有不同优先级:实时交互关注低延迟,批处理关注高吞吐,关键任务关注高精度。自适应计算通过动态调度在这三者间寻找最优平衡。
M8 · 能效与精度权衡
自适应计算降低能耗——绿色AI的关键技术。固定计算模型无论输入难易都消耗相同能量,而自适应计算让简单输入用更少能量、复杂输入用更多能量,在保持精度的同时显著降低总能耗和碳排放,是实现可持续AI的核心路径。