DATA ENGINEERING · PIPELINE

数据工程可视化实验室

从 ETL 抽取到数据治理,覆盖数据工程全链路的 8 个核心可视化模块。每个模块均包含可交互的 SVG 可视化、实时控制面板与统计指标,全部以单文件 HTML/CSS/JS + SVG 实现,零外部依赖。

8 Modules SVG + Vanilla JS Zero Dependencies Single File
01EXTRACT · TRANSFORM · LOAD

ETL 管道

展示数据从源端抽取、清洗转换到加载入仓的完整流水线。调节数据量与转换类型,观察管道吞吐与时延的变化。

管道数据流
02BRONZE · SILVER · GOLD

数据湖

Medallion 奖牌架构:Bronze 原始层、Silver 清洗层、Gold 服务层。注入原始数据,观察各层数据质量与体量的逐层收敛。

奖牌架构分层
03STAR · SNOWFLAKE

数据仓库

星型模型与雪花模型对比:事实表居中,维度表环绕。切换模型类型、增减维度,观察连接复杂度与存储代价的变化。

维度建模
04LAMBDA · KAPPA

流批一体

Lambda 架构(批处理层 + 速度层合并到服务层)与 Kappa 架构(仅流处理一层)对比。调节延迟,观察数据路径。

架构对比
05COMPLETENESS · CONSISTENCY · ACCURACY · FRESHNESS

数据质量

完整性、一致性、准确性、时效性四大维度质量指标看板。注入坏数据观察质量下降,运行质量检查恢复评分。

质量指标看板
06SOURCE · LINEAGE · DASHBOARD

数据血缘

从数据源到看板的血缘图谱。选择下游节点,高亮其上游依赖路径,揭示表与字段的级联影响。

血缘依赖图
07WAL · CDC · TARGET

CDC 变更捕获

基于日志的变更数据捕获管道:源库 WAL → CDC 连接器 → 目标表。模拟 INSERT/UPDATE/DELETE,调节捕获延迟。

变更捕获流
08CATALOG · LINEAGE · QUALITY · SECURITY

数据治理

数据目录、血缘、质量、安全四大治理支柱。逐层开关每个支柱,观察治理覆盖度与合规水平的变化。

治理框架