智能体评估基准可视化实验室
从 SWE-bench 到 GAIA、从 Arena Elo 到过程级评估——把 2026 年 AI Agent 评估的核心基准与方法以可交互 SVG 呈现。
01
SWE-bench 代码修复基准
从真实 GitHub PR 中提取 issue → 让 Agent 生成补丁 → 运行测试验证。展示 SWE-bench Verified 2026 最新排行。
任务来源
真实 GitHub PR
12 个流行 Python 仓库
验证方式
单元测试通过率
FAIL_TO_PASS + PASS_TO_PASS
Verified 子集
500 人工验证题
去除歧义和不可验证项
02
GAIA 通用助手基准
需要多步推理、工具使用、网页浏览的通用 AI 助手任务。按难度分层展示任务结构和能力要求。
Level 1
~5 步 · 1-2 工具
基础搜索 + 推理
Level 2
~10 步 · 3-5 工具
多源信息整合
Level 3
~20+ 步 · 任意工具
复杂推理链 + 长程规划
03
WebArena 网页交互基准
在模拟网页环境中完成真实任务：电商购物、论坛发帖、CMS 管理。展示 Agent 与网页的交互过程。
环境
自托管网站集群
电商/论坛/CMS GitLab
动作空间
点击/输入/滚动
模拟真实浏览器操作
评估
端到端功能正确性
网站状态验证
04
LMSYS Arena Elo 排行
人类盲测投票 → Bradley-Terry 模型 → Elo 评分。展示 2026 年最新 LLM Arena 排名和置信区间。
投票方式
人类盲测 A/B 对比
消除模型名称偏差
评分模型
Bradley-Terry → Elo
Bootstrapping 置信区间
分类
Coding/数学/创意
按领域分榜
05
过程级评估 vs 结果级评估
结果级只看最终答案对错；过程级评估推理步骤的正确性。展示 PRM（过程奖励模型）如何逐步打分。
ORM
结果奖励模型
只看最终答案
PRM
过程奖励模型
逐步骤打分
优势
发现中间错误
精确定位推理断裂点
06
Agent 轨迹分析
可视化 Agent 执行轨迹：思考 → 行动 → 观察 循环。分析效率、冗余、回溯和工具使用模式。
07
评估基准维度对比
不同基准在任务类型、工具需求、评估方式和难度范围上的对比。
08
模型能力雷达图
在代码、数学、推理、创意、工具使用、长上下文六个维度上对比 2026 主流模型。
综合最强
GPT-5
综合分 92.3
代码最强
Claude Opus 4
SWE-bench 72.7%
长上下文
Gemini 3
2M tokens 窗口
性价比
DeepSeek V4
1/5 价格 · 90% 性能