Machine Learning Systems · 可视化实验室

把机器学习系统的内部机制
变成看得见的动态图

八个核心子系统：从特征平台到持续训练，用纯 SVG 与原生 JS 还原 ML 系统的数据流、控制流与状态变迁。零依赖、零构建，每个模块都可交互。

模块 8 纯 HTML/CSS/JS+SVG 零依赖主色 --accent:#fb7185

01 / Feature Platform

特征平台

统一管理离线与在线特征，保证训练与推理的特征一致性。监控特征新鲜度、覆盖率与点对点偏差。

特征存储 · 在线/离线一致性streaming

控制台

在线延迟 14ms

新鲜度 92%

存储引擎离线 Parquet + 在线 Redis

一致性P99 偏差 0.03% · 通过

工作原理

离线路径批处理 ETL 写入特征仓，供训练用，T+1 更新

在线路径流式计算实时写入在线存储，低延迟点查

一致性通过特征转换代码共享与离线回填校验，消除训练/服务偏差

特征数

1.2k

+38 本周

在线 QPS

48k/s

稳定

新鲜度

92%

达标

一致性 P99

0.03%

通过

02 / Model Registry

模型注册表

集中管理模型版本、血缘与生命周期。支持灰度发布与 A/B 测试流量路由，可一键回滚到任意历史版本。

版本血缘 · A/B 路由v2.3 staging

控制台

流量 A 60/40

当前版本v2.2 · 生产

候选版本v2.3 · 灰度中

工作原理

版本血缘记录每个模型的数据集、代码、超参指纹，形成 DAG 血缘图

阶段流转staging → canary → production → archived，带审批门禁

A/B 路由按用户哈希分桶，在线切分流量并采集对照指标

注册模型

+4 本月

生产版本

正常

A/B 实验

运行中

回滚次数

本月 1

03 / Inference Serving

推理服务

支持批处理与在线推理。动态 batching 将并发请求聚合以提升吞吐，模型路由按负载与特征分发到合适副本。

动态 Batching · 模型路由serving

控制台

Batch 大小 8

请求速率 55/s

副本数4 × GPU (A10)

延迟P99 42ms

工作原理

动态 batching在时间窗口内收集请求合并成一个大 batch，摊薄 kernel 开销

在线推理单请求低延迟路径，适合实时交互场景

模型路由按模型版本、负载与租户优先级路由到不同副本

吞吐

440req/s

+12%

P99 延迟

42ms

达标

GPU 利用率

68%

均衡

批处理任务

1.4k/h

运行

04 / Data Pipeline

数据流水线

ETL → 特征工程 → 训练 → 评估的端到端管道。每个阶段可独立重跑、缓存与校验，保证可复现性。

ETL → 特征 → 训练 → 评估idle

控制台

数据量 120GB

编排DAG · 4 阶段

状态就绪

工作原理

ETL抽取多源数据，清洗去重并落入数据湖

特征工程复用特征平台转换逻辑，生成训练特征矩阵

训练 → 评估分布式训练后自动评估，达标则注册到模型库

管道运行

312

+9 今日

成功率

98.7%

稳定

平均耗时

26min

+2min

数据量/日

8.4TB

+5%

05 / Model Monitoring

模型监控

持续检测特征漂移、数据质量与性能衰退。当分布偏离基线或指标下滑时自动告警并触发再训练。

漂移检测 · 性能衰退monitoring

控制台

漂移强度 0%

PSI0.08 · 正常

告警无

工作原理

漂移检测用 PSI / KS 检验对比线上分布与训练基线，超阈值告警

数据质量监控缺失率、类型异常与取值范围，拦截脏数据

性能衰退跟踪线上 AUC/F1，连续下滑触发持续训练

监控模型

全覆盖

PSI 均值

0.08

正常

告警

无

线上 AUC

0.91

稳定

06 / Federated Learning

联邦学习平台

横向与纵向联邦学习，数据不出本地。通过安全聚合协议汇聚梯度，保护各方隐私。

安全聚合 · 多方协同round 0

控制台

客户端 5

协议SecAgg + 差分隐私

当前轮次Round 0

工作原理

横向联邦各方样本不同、特征相同，交换梯度更新全局模型

纵向联邦相同样本不同特征，通过加密中间结果联合训练

安全聚合服务器只能看到聚合后的梯度，无法还原单方贡献

参与方

在线

完成轮次

待开始

通信量

0MB

—

全局精度

0.50

初始

07 / AutoML

AutoML

自动超参搜索（HPO）、神经架构搜索（NAS）与集成学习。在给定预算内搜索最优模型组合。

HPO 搜索空间 · NAS · 集成trial 0

控制台

试验预算 30

策略贝叶斯优化

最佳分数—

工作原理

HPO贝叶斯优化 / TPE 在超参空间中高效搜索，平衡探索与利用

NAS搜索网络层宽、深度与连接，用早停裁剪劣质结构

集成挑选多样性强的模型加权融合，降低方差提升鲁棒性

试验数

待启动

最佳分数

—

搜索用时

—

集成模型

—

08 / Continuous Training

持续训练

CT pipeline 由数据/性能触发器自动驱动。新模型评估通过后上线，异常时自动回滚到上一个稳定版本。

CT 触发 → 训练 → 部署 → 回滚idle

控制台

触发阈值 PSI 0.15

触发器漂移 + 定时 + 手动

状态空闲

工作原理

触发器监控模块检测到漂移超阈值或定时窗口到达，触发 CT

训练评估复用数据流水线，新模型须通过回归测试与影子评估

回滚机制线上指标劣化时自动切回上一稳定版本并告警

CT 运行

本次会话

自动回滚

—

当前版本

v2.2

稳定

训练时长

—