按年被提到
20242025 · 2 次2026
安全、隐私与密码学›调试、模糊测试与供应链·arXiv:2406.10279 · cs.SE

We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs

我们有个包给你!对代码生成 LLM 软件包幻觉的全面分析
Joseph Spracklen, Raveen Wijewickrama, A H M Nazmus Sakib, Anindya Maiti, Bimal Viswanath, Murtuza Jadliwala · 2024

统计 16 个代码 LLM 的软件包幻觉及其供应链风险

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2024-10-01 · 最近 2025-11-15
3不同的人
3活跃月份
3讨论串
22被引(OpenAlex)

论文指出代码生成 LLM 会编造不存在的软件包名,形成一种新的软件供应链包混淆攻击。作者用 16 个流行代码 LLM 和两套提示数据集,在两种编程语言上生成 576,000 份代码样本;平均幻觉包比例商业模型至少 5.2%、开源模型 21.7%,共出现 205,474 个不同的幻觉包名。论文还实现了若干缓解策略,能显著减少幻觉并保持代码质量。

HN 为什么提它

评论者在讨论软件供应链安全的新闻报道(如 Socket 的文章)时,指出其底层来源就是这篇预印本及其对各模型幻觉率的统计。

实证研究难度 2 / 5约 50 分钟有时效性
读之前最好知道
1代码生成 LLM
2软件包仓库与依赖管理(PyPI、npm)
3软件供应链安全
4幻觉(hallucination)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用dijksterhuis · 2025-04

“socket article seems to mostly be a review of this arXiv preprint paper: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs”

指出 Socket 的文章主要是对这篇预印本的综述
AI can't stop making up software dependencies and sabotaging everything原评论 ↗
引用simonw · 2025-11

“That looks like this report from June 2024: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs”

指出这就是 2024 年 6 月那份报告,统计 16 个代码 LLM 的包幻觉率
AI Code Is Going to Kill Your Startup (and You're Going to Let It)原评论 ↗
被提交为 story · 1 次