BENCHMARK · SWE-BENCH · 2023-10 PAPER · ICLR 2024 ORAL · INDUSTRY STANDARD
软件工程能力的试金石 · 从 2,294 个真实 Issue-PR 对 · 到全球 AI 编码智能体的统一考场
SWE-bench 由普林斯顿 NLP 组（Jimenez, Yang 等）提出，从 Django、SymPy、scikit-learn 等 12 个热门 Python 仓库爬取 2,294 组真实「Issue→修复 PR」配对。模型必须像工程师一样：理解缺陷报告、在数万行代码中定位、生成补丁、通过 FAIL_TO_PASS 测试。2023 年首发时最强模型仅 4.4%，2025 年 Agent 系统已突破 70%+（含脚手架），成为衡量自主编程能力的行业金标准。Verified 子集（OpenAI 人工校验 500 题）与 Multimodal 版（JS 前端 + 截图）持续扩展其版图。