高级存储系统可视化实验室
从对象存储架构到纠删码容错,从多副本一致性到 CDN 缓存策略,系统化解析现代分布式存储的核心机制与工程权衡。每个模块含可交互 SVG 演示。
对象存储(S3/OSS/Ceph RGW)将数据作为对象扁平存储,元数据与数据分离。网关处理 S3 API,元数据服务记录对象位置,数据节点持久化。无层级目录,支持 EB 级扩展。
块存储提供裸块设备语义:iSCSI 走 TCP、FC 走光纤、NVMe-oF 走 RDMA。延迟从 ms 到 μs 级。用于数据库、虚拟机磁盘。NVMe-oF 性能接近本地盘,是云原生存储首选。
Linux 文件系统经 VFS 抽象统一接口(open/read/write)。页缓存加速重复访问;DIO 绕过缓存适合数据库。ext4 日志元数据,XFS 高并发,ZFS/Btrfs 支持 CoW 与校验。
纠删码(n,k) 将数据分 k 块生成 n-k 校验块,任意 n 块中保留 k 块即可恢复。RS(10,4) 存储效率 71%,容 4 故障,远高于 3 副本的 33%。冷数据首选,但计算开销大、修复慢。
强一致(Raft/Paxos):写需多数派 ACK,读总是最新,延迟高。最终一致(Dynamo):异步复制,高可用低延迟,但短暂不一致。Quorum W+R>N 可调一致性强度。
CDN 将内容缓存在全球边缘节点,用户就近访问。缓存策略:TTL 过期、LRU 淘汰、签名 URL 防盗链。回源率(cache hit ratio)是核心指标。主动预热与失效保证内容新鲜。
存储分层按访问热度自动迁移数据:热数据 NVMe 低延迟;温数据 SSD 平衡;冷数据 HDD 低成本;归档 对象/磁带最便宜。ILM 策略基于年龄、访问频率、合规保留期迁移。
去重将文件分块(定长/变长 Rabin),对每块计算哈希,相同哈希只存一份。备份场景去重率可达 10-30x。变长分块应对插入偏移,内容寻址存储(CAS)天然去重。