按年被提到
20232023 · 5 次2026
AI 安全、伦理与社会影响›大模型与人类行为·arXiv:2305.15717 · cs.CL

The False Promise of Imitating Proprietary LLMs

模仿专有大模型的虚假承诺
Arnav Gudibande, Eric Wallace, Charlie Snell, Xinyang Geng, Hao Liu, Pieter Abbeel, Sergey Levine, Dawn Song · 2023

指出微调模仿 ChatGPT 的开源模型只学到风格而非能力

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2023-05-26 · 最近 2026-06-25
7不同的人
3活跃月份
6讨论串
119被引(OpenAlex)

论文批判性地分析用更强模型(如 ChatGPT)的输出去微调弱模型的做法(如 Alpaca、Self-Instruct)。作者用不同基座规模(1.5B 到 13B)、数据来源和模仿数据量(0.3M 到 150M token)微调了一系列模仿 ChatGPT 的模型,并用众包评分和标准 NLP 基准评估。起初众包工人认为输出与 ChatGPT 相当,但更有针对性的自动评估显示,在模仿数据支持不多的任务上,模仿模型几乎没有缩小基座模型与 ChatGPT 的差距,因为它们擅长模仿风格而非事实性。作者结论是模仿是虚假的承诺,最有杠杆的做法是开发更好的基座模型。

HN 为什么提它

HN 上的人用它提醒:小型开源模型靠模仿 ChatGPT 看起来更好,可能只是评估被人工评分蒙蔽,风格差距很快缩小但能力差距仍然很大。

实证研究难度 3 / 5约 40 分钟有时效性
读之前最好知道
1指令微调与模型蒸馏
2大语言模型评测(众包与基准)
3LLaMA 与 Alpaca 类开源模型
4事实性(factuality)评估

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐finexplained · 2023-05

“See The False Promise of Imitating Proprietary LLMs for why calling this a private ChatGPT is probably misleading.”

推荐它,说明把这个模型叫作私有 ChatGPT 可能有误导
引用elexhobby · 2023-05

“For another possibility, see The False Promise of Imitating Proprietary LLMs. The new models may not actually be better - the evaluation may be broken.”

提出另一种可能:新的模仿模型未必更好,可能是评估有问题
Gorilla: LLM Connected with APIs原评论 ↗
引用throwaway55905 · 2023-05

“Recent papers suggest that these smaller LMs dont fully capture ChatGPT quality in ways that may not have appeared with crowd worker ratings [1].”

引用它说明较小的模型未必达到 ChatGPT 的质量,众包评分可能看不出来
What Neeva's quiet exit tells us about the future of AI startups原评论 ↗
引用yyyk · 2023-06

“While the small open models have a tendency to overclaim[0], they'll get to GPT-4 level in time.”

引作证据:小型开源模型容易夸大自己的能力
OpenAI's plans according to Sam Altman原评论 ↗
引用nonethewiser · 2026-06

“found imitation closes the style gap fast but there is a large capability gap.”

引用它的发现:模仿很快缩小风格差距,但能力差距仍然很大
Anthropic Accuses Alibaba of 'Illicitly' Accessing AI Models原评论 ↗
被提交为 story · 2 次