DATA ENGINEERING · PIPELINE
数据工程可视化实验室
从 ETL 抽取到数据治理,覆盖数据工程全链路的 8 个核心可视化模块。每个模块均包含可交互的 SVG 可视化、实时控制面板与统计指标,全部以单文件 HTML/CSS/JS + SVG 实现,零外部依赖。
01EXTRACT · TRANSFORM · LOAD
ETL 管道
展示数据从源端抽取、清洗转换到加载入仓的完整流水线。调节数据量与转换类型,观察管道吞吐与时延的变化。
管道数据流
02BRONZE · SILVER · GOLD
数据湖
Medallion 奖牌架构:Bronze 原始层、Silver 清洗层、Gold 服务层。注入原始数据,观察各层数据质量与体量的逐层收敛。
奖牌架构分层
03STAR · SNOWFLAKE
数据仓库
星型模型与雪花模型对比:事实表居中,维度表环绕。切换模型类型、增减维度,观察连接复杂度与存储代价的变化。
维度建模
04LAMBDA · KAPPA
流批一体
Lambda 架构(批处理层 + 速度层合并到服务层)与 Kappa 架构(仅流处理一层)对比。调节延迟,观察数据路径。
架构对比
05COMPLETENESS · CONSISTENCY · ACCURACY · FRESHNESS
数据质量
完整性、一致性、准确性、时效性四大维度质量指标看板。注入坏数据观察质量下降,运行质量检查恢复评分。
质量指标看板
06SOURCE · LINEAGE · DASHBOARD
数据血缘
从数据源到看板的血缘图谱。选择下游节点,高亮其上游依赖路径,揭示表与字段的级联影响。
血缘依赖图
07WAL · CDC · TARGET
CDC 变更捕获
基于日志的变更数据捕获管道:源库 WAL → CDC 连接器 → 目标表。模拟 INSERT/UPDATE/DELETE,调节捕获延迟。
变更捕获流
08CATALOG · LINEAGE · QUALITY · SECURITY
数据治理
数据目录、血缘、质量、安全四大治理支柱。逐层开关每个支柱,观察治理覆盖度与合规水平的变化。
治理框架