BENCHMARK · RULER · 2024-04 RELEASE · PAPER: WHAT'S THE REAL CONTEXT SIZE OF YOUR LONG-CONTEXT LMS?
长上下文的照妖镜 · 标称 1M 不等于能用 1M · 用 13 类任务测出真实有效窗口
RULER 由 NVIDIA 研究团队于 2024 年 4 月发布，专门回答一个尖锐问题：模型宣称的上下文长度（如 128K、1M）与实际有效长度相差多少？它用可配置长度的合成任务（4K 到 1M+）替代固定长度数据集，覆盖检索（大海捞针 7 种变体）、多跳追踪（变量追踪）、聚合统计（词频提取）与问答四类能力。首发评测 10+ 主流模型即发现：多数模型的有效上下文远小于标称值——GPT-4-Turbo 标称 128K 实际约 32K，多款 1M 模型在 128K 处已显著退化。RULER 的「序列评分」方法已成为长上下文评测的行业标准。