Advanced Storage Systems

高级存储系统可视化实验室

从对象存储架构到纠删码容错,从多副本一致性到 CDN 缓存策略,系统化解析现代分布式存储的核心机制与工程权衡。每个模块含可交互 SVG 演示。

DomainCS / Systems
Modules8
Accent#60a5fa blue
StackHTML / SVG / JS
Interactive Modules
对象存储架构
01
Client GatewayS3 API MetadataKV / DB D1 D2 D3 S3 兼容 · 网关分离元数据与数据平面

对象存储(S3/OSS/Ceph RGW)将数据作为对象扁平存储,元数据与数据分离。网关处理 S3 API,元数据服务记录对象位置,数据节点持久化。无层级目录,支持 EB 级扩展。

S3CephFlat Namespace
块存储协议
02
Host App / FS Block Layer iSCSI/NVMe Fabric Storage Array LUN / Volume iSCSI / NVMe-oF / FC · 块设备远程化

块存储提供裸块设备语义:iSCSI 走 TCP、FC 走光纤、NVMe-oF 走 RDMA。延迟从 ms 到 μs 级。用于数据库、虚拟机磁盘。NVMe-oF 性能接近本地盘,是云原生存储首选。

iSCSINVMe-oFRDMA
文件系统层级
03
VFS (virtual) Page Cache / Direct I/O ext4 XFS ZFS/Btrfs Block Layer (bio) Device Driver / NVMe VFS 抽象统一接口 · 多 FS 共存

Linux 文件系统经 VFS 抽象统一接口(open/read/write)。页缓存加速重复访问;DIO 绕过缓存适合数据库。ext4 日志元数据,XFS 高并发,ZFS/Btrfs 支持 CoW 与校验。

VFSext4CoW
纠删码原理
04
RS(6,4) · 6 数据 + 4 校验 D1 D2 D3 D4 D5 D6 P1 P2 P3 P4 容 4 块故障 · 存储效率 60% Reed-Solomon · 伽罗瓦域运算

纠删码(n,k) 将数据分 k 块生成 n-k 校验块,任意 n 块中保留 k 块即可恢复。RS(10,4) 存储效率 71%,容 4 故障,远高于 3 副本的 33%。冷数据首选,但计算开销大、修复慢。

Reed-SolomonRS(10,4)Galois
多副本一致性
05
P R1 R2 R3 Primary-Backup · 写需全部 ACK

强一致(Raft/Paxos):写需多数派 ACK,读总是最新,延迟高。最终一致(Dynamo):异步复制,高可用低延迟,但短暂不一致。Quorum W+R>N 可调一致性强度。

RaftQuorumDynamo
CDN 缓存策略
06
Origin Edge EU Edge US Edge AS U1 U2 就近边缘缓存 · 回源最小化

CDN 将内容缓存在全球边缘节点,用户就近访问。缓存策略:TTL 过期、LRU 淘汰、签名 URL 防盗链。回源率(cache hit ratio)是核心指标。主动预热与失效保证内容新鲜。

Edge CacheTTLPrefetch
存储分层
07
NVMe SSD · 热 · $$$$ · <100μs SATA SSD · 温 · $$$ · 0.5ms HDD · 冷 · $$ · 10ms 对象/归档 · 冰 · $ · 秒级 按访问频率自动迁移 · 成本/性能权衡

存储分层按访问热度自动迁移数据:热数据 NVMe 低延迟;温数据 SSD 平衡;冷数据 HDD 低成本;归档 对象/磁带最便宜。ILM 策略基于年龄、访问频率、合规保留期迁移。

TieringILMHot/Cold
数据去重
08
File Chunk hash Dedup Store unique chunks only 内容寻址 · 重复块只存一份

去重将文件分块(定长/变长 Rabin),对每块计算哈希,相同哈希只存一份。备份场景去重率可达 10-30x。变长分块应对插入偏移,内容寻址存储(CAS)天然去重。

ChunkingRabinCAS