LLMOps 与 AI 可观测性可视化实验室
从调用到可观测——把 LLM 工程全链路追踪与监控的核心机制以可交互 SVG 呈现。
01
LLMOps 全景
LLMOps 覆盖从开发、部署、监控到优化的全生命周期。与传统 MLOps 相比，LLMOps 额外关注 Token 成本、Prompt 版本、输出质量与幻觉监控。切换视角观察生命周期管线与工具链矩阵。
开发阶段
Prompt 工程 · 模型选型
实验追踪与版本管理
部署阶段
推理服务 · API 网关
灰度发布与流量路由
监控阶段
Trace · 成本 · 质量
全链路可观测性
优化阶段
缓存 · 蒸馏 · 路由
持续降本增效
MLOps 差异
Token 成本维度
LLMOps 特有的按量计费监控
Prompt 代码化
Prompt 即代码
版本控制/A/B 测试/灰度发布
输出质量
非确定性输出
需在线评估与幻觉监控
闭环迭代
优化→开发反馈
监控数据驱动 Prompt/模型改进
CI/CD 集成
自动化流水线
Prompt 变更触发自动测试与部署
实验追踪
MLflow/Weights&Biases
记录每次实验的超参与指标
团队协作
角色与权限
开发/运维/产品多角色协同
安全合规
PII 脱敏/审计
敏感信息自动脱敏与审计日志
模型注册表
多模型管理
集中管理不同版本和供应商的模型
流量管理
负载均衡/限流
多模型实例间的流量分配与保护
可观测分层
L0/L1/L2 监控
基础设施/模型/业务三层监控
Feature Flag
功能开关
动态控制 LLM 功能的开关与参数
A/B 路由
模型流量分配
不同用户路由到不同模型版本
02
Trace 与 Span 模型
一次 LLM 请求对应一个 Trace，其中包含多个嵌套的 Span（Prompt 构建、模型调用、工具执行、后处理）。逐步展开观察请求级 Trace 与步骤级 Span 的嵌套调用链。
Trace
请求级追踪根
一次用户请求的完整生命周期
Span
步骤级追踪单元
LLM 调用/工具执行/检索等
嵌套关系
Span 可包含子 Span
形成树状调用链
Span 属性
duration · tokens · cost
每个 Span 携带丰富元数据
Span 类型
LLM/Tool/Retrieval
不同类型携带不同属性集
传播上下文
trace_id 贯穿
W3C TraceContext 跨服务传递
可视化
火焰图/Gantt 图
时间轴展示 Span 嵌套与耗时
OTel 标准
OpenTelemetry 兼容
统一 Span 格式跨平台互操作
错误传播
异常 Span 标记
ERROR 状态贯穿父子 Span 链
Baggage
跨服务携带数据
用户ID/会话ID等上下文传递
Span Events
时间点事件
记录 Span 内的关键事件（如重试）
Span Links
跨 Trace 关联
批处理中多 Trace 间的关联链接
采样标记
sampled flag
标记该 Trace 是否被采样保留
分布式追踪
跨服务调用链
RAG/LLM/Tool 跨服务统一追踪
上下文注入
trace_id 注入
HTTP header/gRPC metadata 传递
Span 状态码
OK/ERROR/UNSET
标准化状态码标识执行结果
03
Token 成本归因
每个请求的 Token 消耗可分解到模型调用、工具链、缓存命中等维度。切换视图观察单请求成本分解与全局成本趋势。
输入 Token
Prompt + Context
通常单价较低
输出 Token
生成内容
通常单价 3-5 倍于输入
缓存命中
重复请求复用
命中率每提升 10% 约省 8% 成本
模型路由
简单→小模型
复杂→大模型，动态降本
RAG 上下文
最大成本来源
检索文档常占 50%+ 输入 token
成本归因
按 Span 分摊
每个步骤的 token 消耗精确追踪
预算告警
日/月预算阈值
超支自动降级或熔断
ROI 分析
成本 vs 价值
按用户/功能维度计算投入产出比
模型定价
输入/输出差异化
GPT-4o: $2.5/$10 per 1M tok
批量折扣
Batch API 50% off
非实时请求用 Batch API 降本
语义缓存
相似请求复用
基于 embedding 相似度的缓存命中
Token 优化
Prompt 压缩
去除冗余 token 降低输入成本
阶梯定价
使用量折扣
高使用量享批量折扣
成本分摊
按租户计费
多租户场景按使用量精确计费
趋势预测
成本预测
基于历史趋势预测未来成本
模型比价
性价比分析
不同模型的质量/成本性价比对比
04
Prompt 版本管理
Prompt 是 LLM 应用的"代码"。版本控制、A/B 测试、灰度发布与模板管理构成了 Prompt 工程的工程化基石。切换阶段观察 Prompt 发布流水线。
版本控制
Git 式 Prompt 管理
diff/回滚/分支/合并
A/B 测试
并行对比效果
流量分割 + 指标对比
灰度发布
逐步放量
5% → 20% → 100%
模板管理
变量化 Prompt
Jinja2/LangChain 模板
指标对比
准确率/延迟/成本
A/B 组多维度指标统计显著性
自动回滚
质量阈值触发
指标低于阈值自动回退上一版本
Prompt 注册表
中心化管理
所有 Prompt 版本集中存储与索引
协作审核
PR 式评审
Prompt 变更需团队评审合并
变量注入
动态上下文
运行时变量注入 Prompt 模板
Few-shot 管理
示例库
高质量示例集中管理与版本化
Prompt 链
多步 Prompt 编排
复杂任务拆分为 Prompt 链
环境隔离
dev/staging/prod
不同环境独立 Prompt 版本
变更日志
审计追踪
谁在何时改了什么 Prompt
回滚机制
一键回退
出问题时秒级回退到上一稳定版本
效果归因
变更影响分析
定位指标变化由哪个 Prompt 版本引起
多人协作
并发编辑/合并
多人同时编辑 Prompt 的冲突解决
05
在线评估与 Drift 检测
LLM 上线后需持续监控输出质量。分布偏移（Drift）检测可发现输入或输出分布的变化，异常告警在质量下降时及时触发。切换模式观察正常与漂移状态。
质量监控
在线评分 · LLM-as-Judge
实时评估输出质量
Drift 检测
分布距离 · PSI/KS
检测输入/输出分布变化
幻觉检测
事实性校验
引用验证/知识库比对
异常告警
阈值/异常检测
质量下降自动通知
PSI 指标
群体稳定性指数
PSI<0.1 稳定; >0.2 漂移告警
LLM-as-Judge
大模型评估大模型
用强模型评判输出质量，成本低
用户反馈
点赞/点踩/评分
隐式反馈信号收集与分析
降级策略
Drift→备用模型
检测到漂移自动切换稳定版本
数据漂移
输入分布变化
用户查询模式或话题分布偏移
概念漂移
输入→输出映射变化
同样的输入产生不同的期望输出
告警分级
P0/P1/P2/P3
不同严重度触发不同响应流程
基线对比
与历史对比
当前分布与训练/历史分布对比
自动修复
自愈机制
检测到异常自动回滚或降级
监控看板
Grafana 集成
LLMOps 指标接入统一监控大盘
SLI/SLO
服务质量目标
定义并追踪 LLM 服务质量目标
金丝雀
小流量验证
新版本小流量验证质量后再全量
06
Agent 行为回放
多 Agent 系统的调用轨迹复杂，行为回放可逐帧重现 Agent 的工具选择、决策推理与协作过程。推进步骤观察 Agent 决策树展开。
调用轨迹
Agent 调用链回放
时序重现多步推理
工具选择
每步工具决策
为什么选这个工具
决策树
分支推理可视化
探索与回溯过程
协作模式
多 Agent 交互
消息传递/任务委派
Token 追踪
每步 token 消耗
精确到每次 LLM 调用的 token 计数
失败分析
错误根因定位
回放定位哪一步导致失败
调试回放
断点/单步执行
像调试代码一样调试 Agent
性能分析
瓶颈 Span 定位
找出最耗时的 Agent 步骤
状态快照
中间状态保存
每步保存 Agent 状态便于回放
对比回放
A/B 轨迹对比
同一输入不同参数的轨迹差异
回归测试
历史轨迹重放
新版本 Agent 在历史 case 上的表现
多 Agent 拓扑
协作图可视化
展示 Agent 间的消息流与任务分配
Token 预算
单次任务限额
Agent 执行的 token 预算控制
工具调用审计
函数调用记录
记录每个工具调用的参数与返回值
上下文管理
记忆窗口
Agent 的上下文窗口与记忆管理追踪
07
采样与可观测性策略
全量追踪成本过高，采样策略在可观测性与成本间取得平衡。头部采样、尾部采样、错误优先等策略各有优劣。切换策略对比采样效果。
头部采样
入口处决定
简单高效但可能漏掉错误
尾部采样
完成后决定
可基于结果智能保留
错误优先
100% 保留错误
确保异常可追溯
成本控制
按预算动态调整
Token 成本感知采样
组合策略
尾部+错误优先
生产实践推荐组合
采样率
1%-100% 可调
高流量低采样，低流量高采样
延迟影响
尾部采样有缓冲
需缓冲完整 Trace 再决策
存储优化
只存采样数据
大幅降低可观测性存储成本
概率采样
均匀随机
每个请求等概率被采样
属性采样
基于标签/属性
特定用户/路由的请求优先采样
动态调整
流量自适应
高流量自动降低采样率
强制采样
特定请求 100%
VIP用户/特定路由强制全量追踪
采样元数据
采样原因记录
记录为何该 Trace 被采样保留
采样预算
Token 预算限制
按 token 消耗预算决定是否采样
慢请求采样
高延迟 100%
P99 延迟超阈值的请求全量保留
08
LLMOps 生态
Langfuse、Arize Phoenix、OpenLLMetry、LangSmith 等工具构成了 LLMOps 可观测性生态，均基于 OpenTelemetry 标准实现互操作。切换维度对比各平台能力。
Langfuse
开源 LLMOps 平台
自托管友好，社区活跃
Arize Phoenix
AI 可观测性
Drift 检测与评估强
OpenLLMetry
OTel 标准追踪
厂商中立 instrumentation
LangSmith
LangChain 官方
与 LangChain 深度集成
OpenTelemetry
可观测性标准
统一 Trace/Metrics/Logs 格式
互操作性
跨平台迁移
OTel 标准使数据可在平台间流动
自托管 vs SaaS
部署模式选择
数据隐私需求决定部署方式
评估集成
Ragas/DeepEval
评估框架与可观测性平台联动
Helicone
开源代理层
轻量级 LLM 调用监控与缓存
Braintrust
评估+实验
Prompt 实验+评估一体化
Weave
W&B LLMOps
Weights & Biases 的 LLM 追踪
Promptfoo
CLI 评估工具
批量 Prompt 测试与回归
TruLens
RAG 评估
专注于 RAG 应用的可观测性
Prelaunch
上线前检查
LLM 应用上线前的安全与质量检查
Evidently
数据漂移检测
开源的数据质量与漂移监控库