按年被提到
20242025 · 2 次2026
大模型与语言模型›提示工程与输出稳定性·arXiv:2408.02487 · cs.SE

LiCoEval: Evaluating LLMs on License Compliance in Code Generation

LiCoEval:评估 LLM 在代码生成中的许可证合规性
Weiwei Xu, Kai Gao, Hao He, Minghui Zhou · 2024

评测 14 个 LLM 在生成近似开源代码时能否给出正确许可证

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2025-04-16 · 最近 2026-09-18
3不同的人
3活跃月份
3讨论串
22被引(OpenAlex)

论文针对 LLM 可能生成受许可证保护的代码却不提供许可证信息的问题,建立评估基准。作者先通过实证研究确定能排除独立创作的「惊人相似」标准,再据此提出 LiCoEval,衡量 LLM 在生成与既有版权代码惊人相似的代码时,能否给出准确的许可证或版权信息。评测 14 个流行 LLM 发现,即便表现最好的模型也有 0.88% 到 2.01% 的代码与已有开源实现惊人相似,且大多数模型无法给出准确的许可证信息,对 copyleft 许可证代码尤其如此。

HN 为什么提它

评论者在谈 AI 编程的版权与许可证风险时引用它,说明 LLM 会输出训练所用受版权保护代码的近乎原样片段,并提到它被 ICSE 接收。

实证研究难度 2 / 5约 45 分钟有时效性
读之前最好知道
1开源许可证(GPL、MIT 等 copyleft 与宽松许可)
2代码生成 LLM
3代码相似度检测
4软件知识产权基础

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径围绕代码模型的记忆、数据去重、版权与不安全代码风险,帮你理解 LiCoEval 为什么关注许可证合规,再读这个基准。

  1. 1
    Evaluating Large Language Models Trained on Code评估在代码上训练的大语言模型 · 2021

    Codex 与 HumanEval 是代码生成模型和评测的起点,LiCoEval 评测的正是这类代码 LLM。

    读在代码上微调的方式,以及功能正确性评测的思路。

  2. 2
    Extracting Training Data from Large Language Models从大语言模型中提取训练数据 · 2020

    说明大模型会逐字记住并吐出训练数据,是生成带许可证代码的根源。

    读训练数据提取攻击的流程与可被提取的数据类型。

  3. 3
    Quantifying Memorization Across Neural Language Models量化神经语言模型的记忆现象 · 2022

    量化记忆现象与模型规模、重复次数、上下文长度的关系,帮助理解何时会出现近似拷贝。

    读三条对数线性关系的结论。

  4. 4
    Deduplicating Training Data Makes Language Models Better训练数据去重让语言模型更好 · 2021

    重复数据是记忆的重要原因,去重可大幅降低逐字复述。

    读去重方法与记忆频率下降的结果。

  5. 5

    从版权与合理使用角度讨论基础模型,是 LiCoEval 要解决的合规问题的法律背景。

    读代码生成相关的合理使用与版权风险讨论;其余略读。

  6. 6
    Do Users Write More Insecure Code with AI Assistants?用户使用 AI 助手会写出更不安全的代码吗? · 2022

    说明 AI 助手生成的代码会带来风险,与许可证合规一样属于使用 AI 编程工具的现实问题。

    读用户研究的设计和不安全代码的结论。

  7. 7
    LiCoEval: Evaluating LLMs on License Compliance in Code GenerationLiCoEval:评估 LLM 在代码生成中的许可证合规性 · 2024 · 就是这篇

    目标论文:评测 14 个 LLM 在生成近似开源代码时能否给出正确许可证。

    读基准构建方式、相似代码检测,以及各模型许可证提供的准确率。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nyrikki · 2025-04

“Note this paper that will be presented at ICSE in a couple of weeks too.”

提示这篇论文几周后将在 ICSE 上发表
Cursor IDE support hallucinates lockout policy, causes user cancellations原评论 ↗
引用bilekas · 2025-12

“That's not to say there hasn't already been more direct cases with set examples [1]”

补充说已有更直接的带具体例子的案例,并附上该论文
Codex, Opus, Gemini try to build Counter Strike原评论 ↗
引用leonidasrup · 2026-09

“LLMs can output near-exact segments of copyrighted code used for training.”

引它说明 LLM 可输出训练所用受版权保护代码的近乎原样片段
Microsoft exec called AI scraping 'the largest theft of labor in human history'原评论 ↗