引用dijksterhuis · 2025-04
“socket article seems to mostly be a review of this arXiv preprint paper: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs”
指出 Socket 的文章主要是对这篇预印本的综述
统计 16 个代码 LLM 的软件包幻觉及其供应链风险
论文指出代码生成 LLM 会编造不存在的软件包名,形成一种新的软件供应链包混淆攻击。作者用 16 个流行代码 LLM 和两套提示数据集,在两种编程语言上生成 576,000 份代码样本;平均幻觉包比例商业模型至少 5.2%、开源模型 21.7%,共出现 205,474 个不同的幻觉包名。论文还实现了若干缓解策略,能显著减少幻觉并保持代码质量。
评论者在讨论软件供应链安全的新闻报道(如 Socket 的文章)时,指出其底层来源就是这篇预印本及其对各模型幻觉率的统计。
“socket article seems to mostly be a review of this arXiv preprint paper: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs”
“That looks like this report from June 2024: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs”