按年被提到
20212021 · 2 次2026
软件工程与 AI 编程›代码生成与程序合成·arXiv:2108.09293 · cs.CR

Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions

睡在键盘上?评估 GitHub Copilot 代码贡献的安全性
Hammond Pearce, Baleegh Ahmad, Benjamin Tan, Brendan Dolan-Gavitt, Ramesh Karri · 2021

系统测试 Copilot 补全代码的安全性,约 40% 的生成程序有漏洞

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2021-08-23 · 最近 2023-01-08发表于 Communications of the ACM
4不同的人
5活跃月份
5讨论串
140被引(OpenAlex)

论文系统研究 GitHub Copilot 在什么条件下、多大比例上会推荐不安全的代码。作者针对 MITRE Top 25 等高风险 CWE 设计场景,从漏洞类型、提示和领域三个维度考察,共设计 89 个场景、生成 1,689 个程序,其中约 40% 存在漏洞。

HN 为什么提它

HN 上的人把它当作“AI 编程助手自己就会写出带漏洞的代码”的常用出处,但也有人指出它只测了出错频率,没有衡量人们对代码有多信任。

实证研究难度 2 / 5约 45 分钟有时效性
读之前最好知道
1代码生成模型(Copilot)
2常见软件漏洞与 CWE
3基本安全编程知识
4提示工程基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用moyix · 2021-10

“Although our own work shows Copilot is pretty good at adding security flaws on its own:”

引用自己团队的工作:Copilot 自己就很擅长引入安全漏洞
GitHub Copilot available for JetBrains and Neovim原评论 ↗
引用abirch · 2022-06

“especially considering the security issues that is autosuggested by copilot.”

引用它说明 Copilot 自动建议的代码存在安全问题
Papers on GitHub Copilot, copyright law, and ownership for AI-generated code原评论 ↗
引用moyix · 2022-12

“It also lines up nicely with work we did last year, which looked at the security of Copilot's completions without any humans in the loop [1]”

引作佐证:自己去年研究了无人参与时 Copilot 补全的安全性
Study finds AI assistants help developers produce code likely to be buggy原评论 ↗
引用elil17 · 2023-01

“The Pearce, et. al paper everyone cites about security vulnerabilities didn't look at how much people trust the code, just how frequently it gives wrong answers.”

指出这篇被广泛引用的论文只看出错频率,没看人们有多信任代码
It's Plausible, but Is It True?原评论 ↗
被提交为 story · 1 次