AI 评估基准与 LLM-as-Judge 可视化实验室
从静态基准到 LLM 评审——把 AI 模型评估方法演进的核心机制以可交互 SVG 呈现。
01
评估演进全景
评估方法经历人工评估、固定基准、动态基准到 LLM-as-Judge 四代演进。切换视角观察方法论时间线与覆盖维度。
人工评估
专家盲测打分
高质量但昂贵难扩展
固定基准
MMLU/HumanEval 等
标准化但易污染过时
动态基准
LiveBench/动态更新
抗污染，持续新鲜
LLM-as-Judge
大模型自动评审
可扩展但有偏置
02
基准污染检测
基准数据泄漏到训练集会虚高分数。点击执行观察污染检测、去重与污染分数计算过程。
泄漏检测
n-gram 匹配训练集
检测基准样本是否泄漏
数据去重
MinHash/近似去重
移除训练集重复样本
污染分数
泄漏比例量化
评估可信度的关键指标
基准时效
动态更新防过时
LiveBench 定期换题
03
LLM-as-Judge 架构
LLM-as-Judge 通过评分 Prompt 设计、多维评分、参考答案对比与评分聚合实现自动评审。切换阶段观察评审管线。
评分 Prompt
结构化评审指令
含评分标准与输出格式
评分维度
正确性/流畅/相关/安全
多维度细粒度评估
参考对比
与标准答案对照
提升评分客观性
评分聚合
多 Judge 投票/平均
降低单 Judge 噪声
04
Judge 偏置分析
LLM Judge 存在位置偏置、长度偏置、自我偏好等系统性偏差。切换偏置类型观察表现与缓解。
位置偏置
偏好首个/末个答案
交换位置可缓解
长度偏置
偏好更长回复
冗长但无信息内容得分高
自我偏好
偏好同模型输出
同源模型互评失真
偏好反转
轻微扰动改变排名
评分鲁棒性不足
05
Agentic 评估
Agentic 评估考察多轮工具调用、长程规划与任务完成能力。切换任务观察 Agent 轨迹与完成率。
多轮工具调用
检索/计算/代码执行
考察工具编排能力
长程规划
多步任务分解
考察规划与纠错
任务完成率
端到端成功比例
Agent 能力核心指标
基准代表
SWE-bench/WebArena
真实复杂任务环境
06
人机一致性
LLM 评审需与人类标注者保持一致。切换视角观察 Kappa 系数、校准曲线与争议样本。
标注者协议
人类间一致性基线
衡量任务本身难度
Kappa 系数
机会校正一致性
>0.6 为良好一致
校准曲线
预测 vs 实际偏好
评估 Judge 可靠性
争议样本
人机分歧案例
揭示 Judge 盲区
07
评估框架对比
LM Eval Harness、OpenCompass、RAGAS、JETTS 各有侧重：通用基准、中文生态、RAG 评估、Agent 测试。切换视角对比功能矩阵。
LM Eval Harness
EleutherAI 通用框架
数百基准标准化接入
OpenCompass
中文生态完善
多模型多任务一站式
RAGAS
RAG 专用评估
检索/生成质量分离
JETTS
Agent 测试套件
多轮交互能力评估
08
评估前沿
评估前沿包括因果判断评估 CJE、动态基准生成、对抗性评估等方向。切换方向观察研究布局。
因果判断 CJE
因果推理评估
超越相关性的判断能力
动态基准生成
自动生成新题
永不过时的评估池
对抗性评估
红队生成难例
压力测试模型边界
元评估
评估评估器
校准 Judge 自身可靠性