TinyML 与边缘微控制器 AI 可视化实验室
从云端到毫瓦级——把 AI 如何在微控制器上运行的核心机制以可交互 SVG 呈现。
01
TinyML 全景
AI 部署从云端、边缘到 TinyML 三级下沉:算力与功耗逐级骤降。切换视角观察三级架构与功耗-算力-延迟矩阵。
云端 AI
百瓦级 · 千 TFLOPS
大模型训练推理,延迟百毫秒
边缘 AI
瓦级 · 数十 TOPS
Jetson/树莓派,毫秒级延迟
TinyML
毫瓦级 · mTOPS
MCU 上运行,微秒级实时响应
核心约束
功耗·内存·算力
KB 级内存与 mW 级功耗
02
模型压缩三件套
量化(int4/int1)、剪枝、蒸馏是 MCU 部署的核心压缩手段。切换方法观察压缩率与精度权衡。
量化 int8
4x 压缩 · 精损 <1%
最常用,硬件支持好
量化 int4/int1
8-32x 压缩
二值网络极致压缩,精损较大
剪枝
移除冗余连接
结构化剪枝利于加速
知识蒸馏
大模型教小模型
保留精度同时缩小体积
03
MCU 算子库
CMSIS-NN 与 TFLite Micro 为 Cortex-M 提供 optimized 算子,精打细算内存布局。切换视角观察架构与算子覆盖。
CMSIS-NN
Arm 官方算子库
针对 Cortex-M DSP/SIMD 优化
TFLite Micro
跨平台推理引擎
无操作系统依赖,纯 C++ 实现
内存布局
张量 arena 复用
共享缓冲区极致节省 RAM
算子覆盖
Conv/Depthwise/FC
覆盖 CNN 常用算子
04
关键词唤醒
关键词唤醒(KWS)在 MCU 上实时检测唤醒词:声学特征提取 + 小模型分类。点击执行观察唤醒检测流程。
声学特征
MFCC/Mel 频谱
20-40 维特征帧
小模型架构
DS-CNN/TC-ResNet
深度可分离卷积降算力
延迟要求
<200ms 端到端
流式检测近实时响应
功耗目标
<1mW 待机
始终在线的低功耗监听
05
传感器融合
加速度计、陀螺仪、磁力计、麦克风多传感器融合实现活动识别。切换传感器观察融合维度。
加速度计
3 轴线性加速度
检测运动与姿态
陀螺仪
3 轴角速度
补充旋转信息
磁力计
地磁方向
绝对航向校准
融合算法
卡尔曼/互补滤波
多源数据加权融合
06
超低功耗推理
超低功耗推理依赖动态电压频率调整(DVFS)、间歇计算与能量采集供电。切换视角观察功耗优化策略。
DVFS
动态电压频率调整
按负载降频降压省功耗
间歇计算
断电续算
检查点保存进度,来电续跑
能量采集
太阳能/振动/射频
无电池自供电运行
功耗目标
微瓦级待机
纽扣电池续航数年
07
设备端训练
设备端训练实现个性化适配:联邦微调、增量学习在 MCU 上小规模更新。切换阶段观察训练流程。
On-device 学习
本地增量微调
用户新数据适配模型
联邦微调
多设备协同
隐私保护下聚合更新
个性化
用户专属模型
唤醒词/手势个性化定制
挑战
内存与算力受限
仅训练少量参数
08
TinyML 生态
TFLite Micro、Edge Impulse、MicroMLGen、AI Edge Gallery 构成 TinyML 工具链,适配多种硬件平台。切换视角对比生态。
TFLite Micro
Google 推理引擎
开源跨平台,社区活跃
Edge Impulse
一站式开发平台
数据采集到部署全流程
MicroMLGen
模型转 C 代码
生成可移植嵌入式代码
硬件平台
Cortex-M/ESP32/RV
ARM/Espressif/RISC-V 多架构