AI 评估与基准可视化实验室

MMLU 涵盖 57 个学科领域共 14,042 道多项选择题，用以衡量模型在零样本与少样本设定下的多任务理解能力。下方雷达图展示各模型在不同学科大类的得分分布。

HumanEval 包含 164 道手工编写的 Python 编程题，通过执行单元测试衡量 pass@k 通过率。下方可视化展示代码生成到测试执行的完整过程。

MT-Bench 使用 80 道多轮对话题，由 GPT-4 作为裁判按 1-10 分评分。下方热力图展示不同模型在两个轮次、四个评分维度上的表现。

LMSys Chatbot Arena 通过用户盲选对战收集偏好数据，并以 Elo 评分系统对模型进行排名。下方条形图展示各模型 Elo 分数及 95% 置信区间。

BLEU 通过 n-gram 精确匹配衡量机器翻译质量，ROUGE 基于召回率评估摘要生成。下方可视化展示候选翻译与参考翻译的 n-gram 重叠过程。

使用强大的 LLM 作为裁判，对候选模型输出进行自动评分与排序。下方流程图展示候选答案到裁判评分再到最终排名的完整链路。

当测试集数据泄露到训练集时，基准分数会被高估。下方可视化展示通过 n-gram 匹配、嵌入相似度与成员推断三种方法扫描并标记污染样本的过程。

RLHF（基于人类反馈的强化学习）通过收集人类偏好标注、训练奖励模型、再以 PPO 优化策略，将模型输出对齐到人类偏好。下方展示完整管线流程。