LLM应用架构可视化实验室
从 RAG 检索增强到多 Agent 编排，从工具调用协议到 LLM 网关限流，系统化拆解大模型应用工程化的关键组件与设计模式。每个模块含可交互 SVG 演示。
现代 LLM 应用由 网关层（鉴权/限流）→ 路由层（模型选择）→ 编排层（Agent/RAG/LLM）→ 工具层 构成。各层解耦便于独立演进，观测埋点贯穿全链路。
RAG 流程：查询向量化 → 向量库近似最近邻 → Top-K 召回 → 重排序（cross-encoder）→ 拼接上下文送入 LLM 生成。混合检索（BM25+向量）+ 重排序显著提升相关性。
ReAct（Reason+Act）让 LLM 交替推理与行动：思考下一步→调用工具→观察结果→反思。Plan-and-Execute、ReWOO 等变体减少循环次数，提升稳定性与可解释性。
Function Calling 让 LLM 输出结构化 JSON 调用外部工具。OpenAI/MCP 等协议规范化工具描述、参数校验、结果回填。MCP 提供跨厂商的统一工具/资源协议，构建可移植的 Agent 生态。
基于任务复杂度、上下文长度、延迟要求的智能路由：简单查询走小模型降本，复杂推理路由大模型保质。结合缓存、降级、批量预测成本优化整体性价比。
LLM 网关承担鉴权、限流、配额、缓存、审计。令牌桶算法允许突发流量同时限制平均速率；按 Token 计费更贴合 LLM 成本模型；多租户隔离保障 SLA。
向量库在召回质量、吞吐量、运维成本间权衡。FAISS 纯库高性能；Milvus/Qdrant 分布式可控；pgvector 复用 PG 生态；Pinecone 全托管省心。索引算法 HNSW/IVF 决定召回-延迟曲线。
LLM 应用监控三大支柱：Trace（请求全链路）、Metrics（Token/延迟/成本/错误率）、Logs（Prompt/输出留存）。关键指标：TTFT、Tokens/s、p95 延迟、幻觉率，配合 eval 持续追踪质量回归。