端侧大模型可视化实验室
从模型蒸馏到 NPU 加速——把 2026 年大模型如何在手机和边缘设备上本地运行的核心机制以可交互 SVG 呈现。
01
端侧部署架构
设备层级金字塔：旗舰手机 → 中端手机 → 智能手表 → IoT 设备，每层对应不同规模模型(7B/3B/1.5B/0.5B)与算力档位。点击切换设备层。
旗舰手机
7B · INT4
8GB+ 内存 / NPU 30+ TOPS
中端手机
3B · INT4
6GB 内存 / NPU 15 TOPS
智能手表
1.5B · INT4
1GB 内存 / NPU 5 TOPS
IoT 设备
0.5B · INT4
256MB 内存 / MCU 级
02
模型蒸馏管线
Teacher-Student 蒸馏：大模型生成软标签与中间表征，小模型学习模仿，最终量化部署到端侧。
03
量化策略对比
INT4 / INT8 / FP16 / 混合精度量化的精度-速度-显存权衡。左侧分组柱状图，右侧权重分布直方图。
04
移动端推理引擎
MLC-LLM / llama.cpp / ExecuTorch / MLX 在移动端的编译-优化-推理流程差异与特性对比。
MLC-LLM
TVM 编译 / 跨平台
iOS/Android/WebGPU
llama.cpp
C++ / GGUF 格式
纯 CPU 友好 / 广支持
ExecuTorch
PyTorch 出口
官方移动端推理
MLX
Apple 原生
M 系列芯片优化
05
NPU 加速架构
神经处理单元(NPU)内部架构：MAC 阵列 → 片上存储 → 量化加速器 → DMA。对比 NPU/GPU/CPU 的能效比。
06
功耗与延迟分析
不同设备(手机 SoC / 边缘盒子 / 笔记本)上不同模型大小的推理延迟、功耗、精度三维权衡。拖动滑块调整模型规模。
推理延迟
--
首 Token 延迟
功耗
--
单次推理能耗
吞吐
--
Token / 秒
精度损失
--
相对 FP16
07
隐私与安全优势
本地推理的隐私优势：数据不出设备、零网络延迟、离线可用、无 API 费用。切换对比云端推理 vs 本地推理数据流路径。
08
端云协同推理
混合推理策略：简单查询本地处理、复杂查询云端处理、模型路由决策。点击模拟一次端云路由决策。