引用Imnimo · 2026-07
“the right ExploitGym, it says the evaluation consists of:”
引用 ExploitGym 论文说明其评测内容:夺旗加裁判核验的漏洞利用
评测 AI 智能体把漏洞输入扩展为可用 exploit 的基准,含 898 个实例
论文提出 ExploitGym,一个大规模、多样、贴近现实的基准,评估 AI 智能体的漏洞利用能力:给定能触发漏洞的程序输入,要求智能体逐步把它扩展成可工作的 exploit。基准包含 898 个来自真实漏洞的实例,涵盖用户态程序、Google V8 JavaScript 引擎和 Linux 内核,并改变所施加的安全防护以分离其影响,全部配置打包为可复现的容器环境。评测显示利用仍有难度,但前沿模型能成功利用相当比例的漏洞,最强配置 Claude Mythos Preview 与 GPT-5.5 分别为 157 个和 120 个实例生成可用 exploit,开启常用防御后仍保有不小的成功率。
评论者围绕它的评测方式展开讨论:要求拿到 flag 并由评判器检查是否真的利用了预期漏洞,用来说明 AI 在安全上的最坏情况测试。
“the right ExploitGym, it says the evaluation consists of:”
“AI is also tested to see more of its worst case in terms of security - but the tests are supposed to remain sandboxed.”
“Apparently they read the ExploitGym paper[1], which claims to have a causal analysis requirement:”