上下文工程可视化实验室
从上下文窗口到记忆巩固——把 LLM 上下文管理的核心机制以可交互 SVG 呈现。
01
上下文全景
上下文工程贯穿 LLM 的感知与推理：从固定窗口到分块、检索、压缩与记忆巩固。切换时代观察上下文管理范式演进。
核心问题
有限窗口 vs 无限信息
上下文工程的根本矛盾
范式演进
窗口→分块→检索→记忆
逐代扩展有效上下文
目标
无损 · 低成本 · 低延时
在约束下最大化信息效用
02
窗口演进
LLM 上下文窗口从千级 token 增长到百万级。切换模型观察上下文容量的指数级跃迁。
短窗口
2K — 8K token
早期模型，依赖摘要与检索
长上下文
128K — 1M token
整本书/代码库直接装入
代价
注意力 O(n²) 开销
长窗口带来计算与精度挑战
03
RAG 对比
检索增强生成有朴素、高级与模块化多种方案。切换方案对比检索、重排与生成流程差异。
朴素 RAG
检索 → 拼接 → 生成
流程简单，质量受限
高级 RAG
重排 · 查询改写
检索前后优化提升相关性
模块化 RAG
检索·记忆·路由可组合
灵活编排多源上下文
04
上下文压缩
当上下文超限时需压缩：摘要、token 剪枝与语义聚类等手段降低占用。压缩对比观察信息密度变化。
摘要压缩
LLM 生成浓缩
语义级压缩，可能丢细节
token 剪枝
低注意力丢弃
保留关键 token
权衡
压缩率 vs 保真度
成本与质量的平衡
05
记忆巩固
长期记忆分为感觉、工作与长期三层，通过巩固机制将短期交互沉淀为持久知识。查看记忆层聚焦各层特性。
工作记忆
当前上下文窗口
即时可访问的 token
短期记忆
会话级缓存
近轮交互暂存
长期记忆
向量库 · 知识库
跨会话持久化
06
上下文路由
路由器根据查询意图将请求分发到不同上下文源（本地记忆、检索库、工具、网络）。路由模拟观察分发决策。
意图识别
分类查询类型
路由决策的依据
多源融合
记忆+检索+工具
按需组合上下文
成本优化
避免全量检索
按需取用降低开销
07
评估体系
上下文管理需评估大海捞针、无损性、成本与延时等维度。评估上下文聚焦关键指标。
大海捞针
长上下文信息召回
关键事实定位能力
无损性
压缩后信息保留
压缩的保真度
成本/延时
token 与时延
部署可行性约束
08
前沿方向
上下文工程前沿包括无限上下文、原生记忆、层次化检索与上下文缓存等。查看趋势聚焦发展方向。
无限上下文
流式 · 感知压缩
突破窗口硬上限
原生记忆
模型内置记忆模块
免外挂的持久化
上下文缓存
KV 复用降本
前缀缓存加速推理
层次检索
粗→细多级召回
兼顾效率与精度