AI 数据工程可视化实验室
从原始数据到训练就绪——把 2026 年 AI 数据管线如何采集、清洗、标注、增强和质量保障的核心机制以可交互 SVG 呈现。
01
数据管线全景
AI 数据全生命周期：采集 → 存储 → 清洗 → 标注 → 增强 → 验证 → 训练。点击执行观察数据从原始到可用的完整链路。
原始数据
多源异构
API/文件/流/数据库
数据湖
统一存储
结构化+非结构化
质量保障
清洗+验证
数据质量评分
训练就绪
特征+标签
可直接喂入模型
ETL vs ELT
先变换 vs 先加载
现代数据栈偏好 ELT
批 vs 流
Batch / Streaming
离线 vs 实时管线
编排工具
Airflow / Dagster
DAG 任务调度
质量门禁
Great Expectations
数据质量自动校验
数据延迟
批: 小时级 / 流: 秒级
根据场景选择
存储格式
Parquet / Arrow
列式高效存储
计算引擎
Spark / Flink / DuckDB
批流统一处理
数据目录
DataHub / Amundsen
可发现可治理
数据质量门禁
自动校验 + 阻断
脏数据不进数据湖
SLA 保障
99.9% 可用性
管线监控告警
成本优化
自动缩放 + Spot
云原生降本
可观测性
OpenTelemetry
全链路追踪
02
数据采集与集成
多源数据采集：API / 爬虫 / 数据库 / 流式 / 文件 → 统一 Schema → 数据湖。点击切换数据源。
REST API
HTTP JSON 拉取
实时/增量采集
网络爬虫
HTML 解析抓取
非结构化网页数据
数据库
CDC 增量同步
MySQL/PostgreSQL
流式数据
Kafka/Pulsar
实时事件流
文件系统
CSV/Parquet/JSON
批量文件导入
Schema 治理
统一字段映射
类型转换 + 校验
数据湖
S3 / HDFS / 湖仓
结构化+非结构化
元数据管理
数据目录 + 血缘
可发现可追溯
CDC
变更数据捕获
Debezium 实时同步
Schema 演进
向后兼容
Avro/Protobuf
数据湖仓
Lakehouse 架构
Iceberg/Delta/Hudi
数据质量
入口校验
拦截脏数据
实时同步
毫秒级延迟
CDC + Kafka
批量导入
TB级文件
并行高效加载
数据路由
规则 + 标签
智能分发
错误处理
DLQ 死信队列
异常数据隔离
03
数据清洗与质量
数据清洗策略：缺失值处理 → 异常值检测 → 去重 → 格式标准化 → 质量评分。点击执行观察清洗流程。
缺失值
填充/删除/插值
均值/中位数/KNN
异常值
IQR / Z-Score
孤立森林检测
去重
精确/模糊匹配
SimHash 近似去重
质量评分
完整/一致/准确
多维质量度量
清洗工具
Pandas / Spark
大规模数据处理
质量框架
Great Expectations
断言式数据校验
异常检测
孤立森林 / DBSCAN
无监督异常识别
质量评分
6维评估模型
完整/一致/准确/及时/有效/唯一
缺失策略
删除/填充/预测
根据缺失率选择
KNN 填充
相似样本推断
非随机缺失更优
SimHash
近似去重
大规模快速去重
质量门禁
不达标阻断
阻止脏数据入湖
04
数据标注与标注管理
标注流程：标注规范 → 预标注(AI) → 人工审核 → 标注一致性 → 主动学习。点击执行观察标注管线。
标注规范
指南 + 示例 + 边界
统一标注标准
AI 预标注
模型初标 85%
减少人工工作量
人工审核
校对 + 修正
质量把关
一致性
IAA ≥ 0.85
标注者间一致性
主动学习
难例优先标注
提升标注效率
标注平台
Label Studio / CVAT
开源标注工具
多标注者
3+ 人独立标注
投票/多数决定
成本优化
AI预标省 70% 人力
效率显著提升
标注类型
分类/检测/分割
不同粒度标注
弱监督
数据编程/弱标注
Snorkel 自动标注
半自动
SAM 自动分割
减少像素级标注
标注速度
AI辅助 5-10x
相比纯人工
05
数据增强策略
数据增强方法：文本(回译/EDA/合成)、图像(裁剪/翻转/Mixup/CutMix)、表格(SMOTE/CTGAN)。点击切换模态。
文本增强
回译/EDA/合成
保持语义不变
图像增强
裁剪/翻转/Mixup
几何+像素变换
表格增强
SMOTE/CTGAN
少数类过采样
目标
防过拟合 + 扩充
提升泛化能力
回译
中→英→中
语义保持变体
Mixup
λ·x₁+(1-λ)·x₂
线性插值混合
CutMix
区域替换
局部混合
效果
精度提升 2-5%
小数据集更显著
EDA 操作
同义/插入/删除/交换
4种文本扰动
Cutout
随机遮挡区域
模拟遮挡
AutoAugment
自动搜索策略
RL 搜索最优增强
数据均衡
少数类过采样
解决类别不平衡
06
特征工程自动化
AutoFeature：特征生成 → 特征选择 → 特征编码 → 特征存储(Feature Store)。点击执行观察特征管线。
特征生成
交叉/衍生/统计
自动特征工程
特征选择
Filter/Wrapper/Embed
降维+去冗余
特征编码
OneHot/Target/Embed
类别→数值
Feature Store
在线+离线存储
特征共享复用
AutoML
TPOT / Featuretools
自动化特征生成
特征重要性
SHAP / LIME
可解释特征评估
在线特征
实时计算 + 缓存
低延迟读取
特征新鲜度
分钟级更新
保证数据时效
特征交叉
自动组合特征
捕获交互信息
特征降维
PCA / UMAP / t-SNE
减少维度灾难
特征漂移
PSI 监控
检测分布变化
特征复用
跨模型共享
Feature Store 核心
07
数据版本与血缘
数据版本管理：数据快照 → 变更追踪 → 血缘图 → 可复现。点击切换版本观察数据流转。
数据快照
DVC / Delta Lake
不可变版本快照
变更追踪
diff + merge
数据变更可视
血缘图
源→变换→模型
全链路追溯
可复现
数据+代码+配置
精确复现实验
DVC
Git for Data
数据版本控制
LakeFS
数据湖版本管理
分支/合并/回滚
MLflow
实验追踪 + 模型
数据→模型关联
OpenLineage
血缘标准
跨工具血缘互通
时间旅行
Time Travel 查询
任意历史版本
数据回滚
版本回退
快速恢复
影响分析
变更波及评估
依赖图遍历
实验复现
数据+代码+环境
完整可复现包
08
数据治理与合规
AI 数据治理：数据分类分级 → 访问控制 → PII 脱敏 → 审计日志 → GDPR/HIPAA 合规。点击切换治理层。
分类分级
公开/内部/机密/绝密
按敏感度分级
访问控制
RBAC / ABAC
细粒度权限
PII 脱敏
掩码/替换/加密
个人身份信息保护
合规
GDPR / HIPAA
法规遵从
数据目录
Apache Atlas / DataHub
元数据 + 分类
权限管理
Ranger / Immuta
细粒度访问控制
审计追溯
全链路操作日志
合规审计基础
数据生命周期
创建→使用→归档→销毁
全流程管控
脱敏技术
掩码/替换/泛化
k-匿名/l-多样性
数据保留
合规保留期限
自动过期删除
跨境传输
数据出境审查
PIPL 合规
数据主权
本地化存储
区域法规要求