“Note this paper that will be presented at ICSE in a couple of weeks too.”
LiCoEval: Evaluating LLMs on License Compliance in Code Generation
评测 14 个 LLM 在生成近似开源代码时能否给出正确许可证
论文针对 LLM 可能生成受许可证保护的代码却不提供许可证信息的问题,建立评估基准。作者先通过实证研究确定能排除独立创作的「惊人相似」标准,再据此提出 LiCoEval,衡量 LLM 在生成与既有版权代码惊人相似的代码时,能否给出准确的许可证或版权信息。评测 14 个流行 LLM 发现,即便表现最好的模型也有 0.88% 到 2.01% 的代码与已有开源实现惊人相似,且大多数模型无法给出准确的许可证信息,对 copyleft 许可证代码尤其如此。
评论者在谈 AI 编程的版权与许可证风险时引用它,说明 LLM 会输出训练所用受版权保护代码的近乎原样片段,并提到它被 ICSE 接收。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径围绕代码模型的记忆、数据去重、版权与不安全代码风险,帮你理解 LiCoEval 为什么关注许可证合规,再读这个基准。
- 1
Codex 与 HumanEval 是代码生成模型和评测的起点,LiCoEval 评测的正是这类代码 LLM。
读在代码上微调的方式,以及功能正确性评测的思路。
- 2
说明大模型会逐字记住并吐出训练数据,是生成带许可证代码的根源。
读训练数据提取攻击的流程与可被提取的数据类型。
- 3
量化记忆现象与模型规模、重复次数、上下文长度的关系,帮助理解何时会出现近似拷贝。
读三条对数线性关系的结论。
- 4
- 5
- 6
说明 AI 助手生成的代码会带来风险,与许可证合规一样属于使用 AI 编程工具的现实问题。
读用户研究的设计和不安全代码的结论。
- 7LiCoEval: Evaluating LLMs on License Compliance in Code Generation
目标论文:评测 14 个 LLM 在生成近似开源代码时能否给出正确许可证。
读基准构建方式、相似代码检测,以及各模型许可证提供的准确率。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“That's not to say there hasn't already been more direct cases with set examples [1]”
“LLMs can output near-exact segments of copyrighted code used for training.”